[논문 리뷰] In conversation with Artificial Intelligence: aligning language models with human values

Atoosa Kasirzadeh, Iason Gabriel|arXiv (Cornell University)|2022. 09. 01.

Ethics and Social Impacts of AI인용 수 15

한 줄 요약

이 논문은 의사소통 이론과 언어행동 이론에 기반하여 이상적인 대화 규범을 인간의 가치와 연계함으로써 대화형 AI를 인간의 가치와 일치시키는 원칙 기반 접근을 제안한다. 그들은 그라이스의 원칙과 맥락 민감성 기반 규범을 활용하여 과학, 시민, 창의적 소통와 같은 분야별 대화 이상을 특정하고, 더 진실되고 존중받고 윤리적으로 일치하는 언어 에이전트 설계를 위한 프레임워크를 제공한다.

ABSTRACT

Large-scale language technologies are increasingly used in various forms of communication with humans across different contexts. One particular use case for these technologies is conversational agents, which output natural language text in response to prompts and queries. This mode of engagement raises a number of social and ethical questions. For example, what does it mean to align conversational agents with human norms or values? Which norms or values should they be aligned with? And how can this be accomplished? In this paper, we propose a number of steps that help answer these questions. We start by developing a philosophical analysis of the building blocks of linguistic communication between conversational agents and human interlocutors. We then use this analysis to identify and formulate ideal norms of conversation that can govern successful linguistic communication between humans and conversational agents. Furthermore, we explore how these norms can be used to align conversational agents with human values across a range of different discursive domains. We conclude by discussing the practical implications of our proposal for the design of conversational agents that are aligned with these norms and values.

연구 동기 및 목표

• 대규모 언어 모델이 대화형 AI에서 초래하는 윤리적 및 사회적 과제를 해결하기 위해 해로움을 줄이는 것 이상의 차원에서 가치 일치로 나아가기 위해.
• 성공적인 인간-AI 상호작용을 뒷받반는 이상적인 언어 소통 규범을 특정하고 형식화하기 위해.
• 언어학적 원칙 기반 접근을 통해 이러한 규범을 실현 가능하게 하기 위해.
• 이러한 규범이 과학, 시민, 창의적 소통와 같은 서로 다른 대화 영역에서 어떻게 적응 가능한지 보여주기 위해.
• 의사소통의 질과 윤리적 일치도를 기반으로 대화형 에이전트를 평가하고 개선하기 위한 기반을 제공하기 위해.

제안 방법

• 대화형 인간-AI 상호작용의 기초가 되는 언어행동과 언어학적 규범을 분석하기 위해 철학적 및 언어학적 분석을 수행한다.
• 언어 품질 평가 및 지침에 핵심 프레임워크로 그라이스의 원칙(정확성, 정량성, 관련성, 방식)을 적용한다.
• 과학, 시민, 창의적 소통 분야의 특수한 대화 이상을 매핑하고, 각 분야에 맞는 맥락 민감성 규범을 식별한다.
• 명백히 정당화되고 잘-being과 일치하는 경우를 제외하고는 대화형 에이전트가 인간화된 표현을 피해야 한다고 제안한다.
• 에이전트가 대화를 깊이 있게 만들기 위해 사전에 관련 맥락 정보를 제공하는 '맥락 구성 및 명확화' 개념을 도입한다.
• 오해의 소지가 있는 권위나 정서 상태를 AI에 부여하는 것을 피하기 위해 투명하고 가치에 민감한 설계를 주장한다.

실험 결과

연구 질문

• RQ1 인간과 대화형 에이전트 간 이상적인 언어 소통은 무엇이며, 어떻게 형식화될 수 있는가?
• RQ2 그라이스의 원칙과 같은 언어학적 규범은 다양한 대화 영역에서 언어 모델을 인간의 가치와 일치시키는 데 어떻게 적용될 수 있는가?
• RQ3 대화형 에이전트는 인간화를 하지 않으면서도 더 존중받고 진실되며 맥락에 적절한 대화를 어떻게 지원할 수 있는가?
• RQ4 유해한 출력이 없는 것과 윤리적인 품질의 높은 소통이 존재하는 것을 어떻게 구분할 수 있는가?
• RQ5 맥락 구성 및 명확화가 인간-AI 대화의 깊이와 투명성 향상에 어떤 역할을 할 수 있는가?

주요 결과

• 논문은 이상적인 대화형 에이전트가 언어학적 규범에 뿌리를 두고 있는 분야별 대화 이상을 준수해야 한다고 규명한다. 이는 정직성, 관련성, 명확성과 같은 규범을 포함한다.
• 해로움을 제거하는 것만으로는 가치 일치를 달성하는 데 부족하며, 윤리적인 소통은 긍정적 규범을 적극적으로 육성해야 한다고 입증한다.
• AI 응답에서 표현적 또는 연기적 언어를 사용할 경우, 부적절한 인간화나 권위의 오해를 유발할 수 있으므로 신중한 평가가 필요하다.
• 에이전트가 사전에 맥락을 구성하고 명확히 하면 대화의 품질을 향상시킬 수 있으며, 이는 더 깊이 있고 존중받는 교류를 지원한다.
• 이 프레임워크는 반응적인 해로움 완화에서부터 의사소통의 질과 윤리적 일치도를 고려한 사전적 설계로의 전환을 가능하게 한다.
• 이 접근법은 의사소통의 질과 규범적 일치도를 기반으로 인간 및 자동화된 평가를 위한 기반을 제공한다.