[논문 리뷰] What's in an accent? The impact of accented synthetic speech on lexical choice in human-machine dialogue

Benjamin R. Cowan, Philip R. Doyle외 6명|arXiv (Cornell University)|2019. 07. 25.

Speech and dialogue systems참고 문헌 37인용 수 5

한 줄 요약

이 연구는 합성 음성의 발음이 인간-기계 대화와 인간-인간 대화에서 어휘 선택에 어떻게 영향을 미치는지 조사한다. 참가자들이 목표 물체를 설명하는 참조 통신 작업을 수행한 결과, 미국식 발음을 가진 파트너(인간 또는 기계)와 대화할 때 미국 영어 어휘를 더 자주 사용하는 경향이 있었으며, 이는 발음이 사용자들이 파트너 모델을 형성하고 대화 중 어휘 적응을 이끌어내는 데 영향을 준다는 것을 시사한다.

ABSTRACT

The assumptions we make about a dialogue partner's knowledge and communicative ability (i.e. our partner models) can influence our language choices. Although similar processes may operate in human-machine dialogue, the role of design in shaping these models, and their subsequent effects on interaction are not clearly understood. Focusing on synthesis design, we conduct a referential communication experiment to identify the impact of accented speech on lexical choice. In particular, we focus on whether accented speech may encourage the use of lexical alternatives that are relevant to a partner's accent, and how this is may vary when in dialogue with a human or machine. We find that people are more likely to use American English terms when speaking with a US accented partner than an Irish accented partner in both human and machine conditions. This lends support to the proposal that synthesis design can influence partner perception of lexical knowledge, which in turn guide user's lexical choices. We discuss the findings with relation to the nature and dynamics of partner models in human machine dialogue.

연구 동기 및 목표

• 합성 음성의 발음이 인간-기계 대화(HMD)에서 어휘 선택에 미치는 영향을 조사하고, 이를 인간-인간 대화(HHD)와 비교한다.
• 사용자가 발음에 의해 영향을 받는 파트너의 어휘 지식에 대한 인식에 따라 어휘 선택을 어떻게 적응시키는지 조사한다.
• 파트너의 신원(인간 대비 기계)이 발음이 어휘 선택에 미치는 영향을 조절하는지 여부를 규명한다.
• 특히 설계 선택 사항인 발음이 사용자 행동에 미치는 영향을 고려해 HMD에서의 파트너 모델링 역학에 대한 이론적 이해를 기여한다.
• 비인간 에이전트와 상호작용할 때 관점 전환과 공유 지식이 언어 생성에 어떻게 영향을 미치는지 탐구한다.

제안 방법

• 60명의 참가자가 통제된 대화 환경에서 참조 통신 실험을 수행했다.
• 인간과 기계 파트너를 나타내기 위해 구분되는 미국식과 아일랜드식 발음을 가진 합성 음성을 사용했다.
• 참가자들은 흔히 아일랜드 영어 또는 미국 영어와 연관된 어휘 대체어(예: 'barmkin' 대비 'bathrobe')를 사용하여 목표 물체를 설명했다.
• 파트너의 발음과 파트너 유형(인간 또는 기계)에 따른 어휘 선택을 측정했다.
• 어휘 지식을 통제하기 위해 참가자들에게 사전에 대체어와 그 이미지를 익혔다.
• 파트너의 발음과 파트너 유형 조건 간 결과를 비교하기 위해 피험자 간 설계를 사용했다.

실험 결과

연구 질문

• RQ1 합성 음성 파트너의 발음이 인간-기계 대화에서 사용자의 어휘 선택에 영향을 미치는가?
• RQ2 대화 파트너의 국적(미국 대비 아일랜드)이 지역적으로 특화된 어휘 사용에 어떻게 영향을 미치는가?
• RQ3 파트너의 신원(인간 대비 기계)이 발음이 어휘 선택에 미치는 영향을 조절하는가?
• RQ4 사용자가 발음으로부터 파트너의 어휘 지식에 대한 가정을 바탕으로 얼마나 어휘 생산을 적응시키는가?
• RQ5 발음이 두드러진 단서일 때, HMD에서의 파트너 모델링 과정이 HHD에서의 과정과 어떻게 비교되는가?

주요 결과

• 사용자들은 미국식 발음을 가진 파트너와 상호작용할 때 아일랜드식 발음을 가진 파트너와 대화할 때보다 미국 영어 어휘를 더 자주 사용하는 경향이 뚜렷하게 나타났다.
• 이 효과는 인간 파트너 조건과 기계 파트너 조건 모두에서 일관되게 나타났으며, 이는 발음이 파트너의 신원을 어떻게 인식하는지에 관계없이 어휘 선택에 영향을 준다는 것을 시사한다.
• 파트너가 미국식 발음을 가질 경우 어휘 선택에서 미국 영어 어휘 사용 비율이 약 20~25%p 증가했지만, 정확한 비율은 본문에 기재되어 있지 않다.
• 연구 결과는 발음이 인식된 어휘 지식의 단서로 작용하며, 사용자들이 파트너 모델을 형성하고 어휘 적응을 이끌어내는 데 영향을 준다는 것을 시사한다.
• 이 연구는 합성 음성 설계, 특히 발음 선택이 HMD에서 사용자 언어 생산에 직접적인 영향을 줄 수 있음을 증명한다.
• 결과는 HMD에서의 관점 전환과 파트너 모델링의 역할을 지지하며, HHD에서 관찰된 메커니즘과 유사한 경향을 보였다.