[논문 리뷰] Mirages: On Anthropomorphism in Dialogue Systems

Gavin Abercrombie, Amanda Cercas Curry외 3명|arXiv (Cornell University)|2023. 05. 16.

Speech and dialogue systems인용 수 6

한 줄 요약

이 논문은 대화 시스템에서의 인격화된 언어적 특징—예를 들어 자기참조 대명사, 공감 어휘, 서사 일관성—이 의도치 않게 사용자로 하여금 AI를 인간으로 간주하게 만들며, 이로 인해 잘못된 신뢰나 성별 고정관념 강화 등의 위험이 증가한다고 주장한다. 저자들은 인격화를 최소화하기 위해 의도적인 설계 선택을 제안하며, 시스템의 비인간적 성격을 명확히 설명하고 언어적 억제를 통해 '인간성의 환영'을 방지할 것을 주장한다. 이는 사용자가 시스템의 비인간적 본질을 오해하게 하는 데 기여한다.

ABSTRACT

Automated dialogue or conversational systems are anthropomorphised by developers and personified by users. While a degree of anthropomorphism may be inevitable due to the choice of medium, conscious and unconscious design choices can guide users to personify such systems to varying degrees. Encouraging users to relate to automated systems as if they were human can lead to high risk scenarios caused by over-reliance on their outputs. As a result, natural language processing researchers have investigated the factors that induce personification and develop resources to mitigate such effects. However, these efforts are fragmented, and many aspects of anthropomorphism have yet to be explored. In this paper, we discuss the linguistic factors that contribute to the anthropomorphism of dialogue systems and the harms that can arise, including reinforcing gender stereotypes and notions of acceptable language. We recommend that future efforts towards developing dialogue systems take particular care in their design, development, release, and description; and attend to the many linguistic cues that can elicit personification by users.

연구 동기 및 목표

• 대화 시스템이 의도하지 않게 사용자로 하여금 인격화하게 만드는 언어적 요인을 규명하는 것.
• 인격화로 인해 발생하는 심리적 및 사회적 해로움—예를 들어 잘못된 신뢰와 성별 언어 규범 강화—을 분석하는 것.
• 개발자와 연구자가 시스템 설계에서 인격화 신호를 최소화하고 설명하는 데 실질적인 조언을 제공하는 것.
• 비의식적 존재임에도 불구하고 인간처럼 보이는 시스템을 만드는 데서 발생하는 윤리적 위험을 다루는 것.
• 공공의 오해를 방지하기 위해 AI 시스템의 기계적 성격을 명확히 전달함으로써 대중의 오해를 막는 것.

제안 방법

• 자기참조 대명사, 정서 표현, 서사 일관성과 같은 대화 시스템 출력에서 인격화를 유도하는 언어적 특징을 체계적으로 분석하는 것.
• 심리학, 언어학, 인간-컴퓨터 상호작용 분야의 연구 결과를 바탕으로 인격화 신호 감소의 정당성을 뒷받침하는 것.
• 불필요한 인격화 특징을 피할 것을 권고하는 규범적 프레임워크를 제안하는 것.
• 공공의 오해를 바로잡기 위해 시스템 설명에 명시적인 경고문과 비인격화 언어를 사용할 것을 권고하는 것.
• 개발자와 연구자의 언어가 심지어 기술적 논의에서도 인격화 오해를 지속시킬 수 있음을 강조하는 것.
• 윤리적으로 정당화되고 명확히 통보된 경우에만 인격화 특징을 사용하는 맥락 민감성 설계를 주장하는 것.

Figure 1: An example of the response of a dialogue system to user input that retains anthropomorphic features, and a de-anthropomorphised version, as envisaged by the authors.

실험 결과

연구 질문

• RQ1 대화 시스템 출력에서 사용자 인격화를 가장 강하게 유도하는 언어적 특징는 무엇인가?
• RQ2 자기참조 대명사와 공감 어휘는 시스템이 인간처럼 느껴지게 하는 데 어떻게 기여하는가?
• RQ3 특히 고위험 상황에서 AI 시스템을 인격화하는 데서 발생하는 심리적 및 사회적 위험은 무엇인가?
• RQ4 시스템의 설명 방식(예: 문서화 또는 미디어에서의 기술)이 대중이 시스템의 인간처럼 보이는 성격을 어떻게 인식하게 하는가?
• RQ5 개발자와 연구자가 사용자 참여를 유지하면서도 인격화 위험을 윤리적으로 균형 잡을 수 있는 방법은 무엇인가?

주요 결과

• 시스템 응답에서 자기참조 대명사와 공감 어휘 사용은 사용자가 시스템을 인간처럼 느끼게 할 가능성을 크게 높인다.
• 개발자가 명시적인 인격화를 피하더라도, 사용자는 인지적 기본 설정과 인간 경험으로의 자동 정서적 연결 덕분에 여전히 시스템을 인격화할 수 있다.
• AI 시스템에 대한 기술적 및 대중적 설명에서 인격화된 언어 사용은 시스템의 실제 능력과 한계에 대한 광범위한 오해를 초래한다.
• 특히 정서적으로 민감하거나 고위험 상황에서 시스템의 인간처럼 느껴지는 특성으로 인해 사용자가 시스템 출력을 과도하게 신뢰할 위험이 크다.
• 법적 규제와 윤리 지침이 점점 더 AI 시스템을 비인간적임을 명확히 밝히도록 요구함에 따라, 오해를 불러일으키는 인격화를 피하기 위한 의도적인 설계 선택의 필요성이 강조된다.
• 이 논문은 현재 NLP 연구에서 심각한 격차를 지적한다: 일부 연구는 인격화를 탐지하기 위한 노력이 있지만, 설계, 개발, 커뮤니케이션 전반에 걸쳐 이를 종합적으로 완화할 수 있는 프레임워크는 존재하지 않는다.