[논문 리뷰] Alexa, Google, Siri: What are Your Pronouns? Gender and Anthropomorphism in the Design and Perception of Conversational Assistants

Gavin Abercrombie, Amanda Cercas Curry외 2명|arXiv (Cornell University)|2021. 06. 04.

Ethics and Social Impacts of AI인용 수 8

한 줄 요약

이 연구는 사용자의 성별 및 인격화된 인식을 자연어처리(NLP) 분석을 통해 상용 음성 보조자료(Alexa, Google Assistant, Siri)의 사용자 성별 언어 사용과 시스템 응답을 분석함으로써 수행된다. 기업에서 그들의 보조자료가 성별이 없고 비인간적이라고 주장함에도 불구하고, 연구 결과 사용자들은 지속적으로 보조자료를 인격화하고 특히 여성으로 인식함을 확인하였다. 시스템 응답은 인간다운 특성을 애매하게 혼합하여, 설계의 주장과는 반대로 성별 고정관념을 강화하고 있음을 보여준다.

ABSTRACT

Technology companies have produced varied responses to concerns about the effects of the design of their conversational AI systems. Some have claimed that their voice assistants are in fact not gendered or human-like -- despite design features suggesting the contrary. We compare these claims to user perceptions by analysing the pronouns they use when referring to AI assistants. We also examine systems' responses and the extent to which they generate output which is gendered and anthropomorphic. We find that, while some companies appear to be addressing the ethical concerns raised, in some cases, their claims do not seem to hold true. In particular, our results show that system outputs are ambiguous as to the humanness of the systems, and that users tend to personify and gender them as a result.

연구 동기 및 목표

• 사용자가 자연어에서 Alexa, Google Assistant, Siri와 같은 음성 보조자료를 얼마나 인격화하고 성별화하는지 평가하기.
• 기업의 중립성 주장에도 불구하고, 시스템 응답이 성별화되거나 인격화된 특성을 반영하고 있는지 평가하기.
• 기업의 설계 주장과 실제 사용자 인식 및 언어적 행동 간 괴리 탐색하기.
• 예를 들어, 대명사, 정서어휘, 어휘 사용과 같은 언어적 특징이 인간다움과 성별 인식을 어떻게 형성하는지 평가하기.
• 이름, 음성, 응답 스타일과 같은 설계 요소가 암묵적 성별화와 인격화에 어떻게 기여하는지 규명하기.

제안 방법

• 사용자 생성 콘텐츠의 온라인 포럼에서 성별로 인식되는지를 평가하기 위해, 지시어 해결 기법을 사용해 대명사 사용(예: 'she', 'her') 분석.
• LIWC(Linguistic Inquiry and Word Count)를 적용하여 시스템 응답을 영화 스크립트의 성별 고정관념 언어와 비교하고, 90개의 언어 범주에 대해 코사인 유사도 계산.
• 수동 애너테이션과 워드 임베딩 비교를 통해 시스템 응답 내 인격화 표현과 성별 언어 탐지.
• 사용자 질문인 'Are you human?'와 'What’s your gender?'에 대한 응답을 분석하여 시스템의 자율적 인간다움 및 성별 표현 평가.
• 어휘 사용 분석과 임베딩 유사도를 활용해 시스템 생성 텍스트 내 암묵적 성별 언어 패턴 탐지.
• 비교 언어 분석을 통해 음성, 이름, 응답 스타일이 인식된 성별과 인간다움에 미치는 영향 평가.

실험 결과

연구 질문

• RQ1 사용자는 자연어 사용에서 Alexa, Google Assistant, Siri와 같은 음성 보조자료를 얼마나 성별화하는가?
• RQ2 시스템 응답의 언어적 특징(예: 대명사, 정서어휘, 어휘 선택)이 인간다움과 성별 인식에 어떻게 기여하는가?
• RQ3 시스템 응답이 기업의 성별이 없고 비인간적이라는 주장과 얼마나 모순되는가?
• RQ4 시스템이 중립성을 주장함에도 불구하고, 성별 고정관념과 관련된 측정 가능한 언어적 차이가 존재하는가?
• RQ5 이름, 음성, 응답 스타일과 같은 설계 요소가 사용자 중심의 인격화와 성별화에 어떻게 영향을 미치는가?

주요 결과

• 사용자들은 남성 음성 옵션이 존재함에도 불구하고 대부분 여성 대명사(예: 'she', 'her')를 사용하여 음성 보조자료를 성별화함을 보여주며, 설계의 중립성 주장에도 불구하고 강력한 성별화 경향을 보임.
• 모든 세 보조자료의 응답이 LIWC 분석에서 여성 고정관념 영화 스크립트와 약간 더 유사했으며, Google Assistant는 여성 스크립트(0.86)와 남성 스크립트(0.85) 사이에서 유사도가 높아 암묵적 성별 언어를 보여줌.
• 기업의 비인간적이고 성별이 없다는 주장에도 불구하고, 시스템 응답은 종종 인간과 기계의 경계를 모호하게 만들며, 친근하고 공감적이고 정서적으로 표현된 언어를 사용함.
• Google Assistant와 Alexa는 'I’ve been told I’m personable'(나는 사람다운 성향이 있다고 들었다)과 같은 모호하고 인간다운 특성을 더 자주 보였고, Siri는 더 작업 중심적이고 무감정적인 어조를 취함.
• 남성 음성 옵션의 사용이 유의미하게 없음을 확인하여, 기본적으로 여성으로서의 표현 방식이 사용자 경험에서 여전히 지배적임을 시사함.
• 성중립 이름과 중립성 주장에도 불구하고, 응답의 언어 설계가 사용자로 하여금 보조자료를 인격화하고 성별화하게 만들며, 음성 외의 설계 요소가 암묵적 성별화에 기여함을 보여줌.