[논문 리뷰] Advancing an Interdisciplinary Science of Conversation: Insights from a Large Multimodal Corpus of Human Speech

Andrew Reece, Gus Cooney외 8명|arXiv (Cornell University)|2022. 03. 01.

Language, Metaphor, and Cognition인용 수 4

한 줄 요약

이 논문은 총 850시간, 700만 개 이상의 단어를 포함한 1,656건의 기록된 영어 대화로 구성된 대규모 다중모odal 코퍼스를 분석하여 대화의 다학문적 과학을 발전시킨다. 대화의 턴 간섭 분할을 위한 새로운 방법을 제안하고, 음성, 시각, 텍스트 특징에 기반한 기계학습을 적용하여 대화 성공 여부를 예측하며, 수명 주기 전반에 걸쳐 대화 역학과 웰빙 간의 관계를 규명한다.

ABSTRACT

People spend a substantial portion of their lives engaged in conversation, and yet our scientific understanding of conversation is still in its infancy. In this report we advance an interdisciplinary science of conversation, with findings from a large, novel, multimodal corpus of 1,656 recorded conversations in spoken English. This 7+ million word, 850 hour corpus totals over 1TB of audio, video, and transcripts, with moment-to-moment measures of vocal, facial, and semantic expression, along with an extensive survey of speaker post conversation reflections. We leverage the considerable scope of the corpus to (1) extend key findings from the literature, such as the cooperativeness of human turn-taking; (2) define novel algorithmic procedures for the segmentation of speech into conversational turns; (3) apply machine learning insights across various textual, auditory, and visual features to analyze what makes conversations succeed or fail; and (4) explore how conversations are related to well-being across the lifespan. We also report (5) a comprehensive mixed-method report, based on quantitative analysis and qualitative review of each recording, that showcases how individuals from diverse backgrounds alter their communication patterns and find ways to connect. We conclude with a discussion of how this large-scale public dataset may offer new directions for future research, especially across disciplinary boundaries, as scholars from a variety of fields appear increasingly interested in the study of conversation.

연구 동기 및 목표

• 언어학, 컴퓨터 과학, 심리학, 사회학의 통찰을 통합하여 대화의 기초가 되는 다학문적 과학을 구축하기 위해.
• 일상생활에서 핵심적인 역할을 하면서도 그에 대한 과학적 이해가 제한된 인간 대화의 본질을 다루기 위해.
• 다중모달 데이터를 사용하여 대화 턴을 분할하기 위한 새로운 알고리즘 절차를 개발하고 검증하기 위해.
• 음성, 얼굴 표정, 의미적 특징 등의 다중모달 특징이 대화 성공 또는 실패를 어떻게 예측하는지 분석하기 위해.
• 수명 주기 전반에 걸쳐 대화 행동과 웰빙 간의 종단적 관계를 탐구하기 위해.

제안 방법

• 음성, 영상, 음성 전사, 그리고 음성, 얼굴 표정, 의미적 표현의 순간별 애너테이션을 포함한 대규모 다중모달 코퍼스 수집.
• 대화 결과를 예측하기 위해 텍스트, 청각, 시각적 특징을 통합하는 기계학습 모델 적용.
• 다중모달 신호를 활용하여 대화 턴을 자동으로 분할하기 위한 새로운 알고리즘 절차 개발.
• 대화 후 설문 조사 데이터 통합을 통해 참가자 경험의 정량적·정성적 분석을 풍부화하기 위해.
• 통계 모델링과 개인 녹음 분석의 정성적 검토를 융합한 혼합 방법 분석을 통해 행동의 다양성을 포착하기 위해.
• 기존 대화 분석에서 알려진 발견들을 테스트하고 확장하기 위해 코퍼스를 활용하기 위해.

실험 결과

연구 질문

• RQ1 자연스러운 인간 대화에서 다중모달 신호(음성, 얼굴 표정, 의미)는 어떻게 상관관계를 맺는가?
• RQ2 기계학습 모델은 음성, 영상, 텍스트 특징을 사용하여 대화 성공 여부를 얼마나 잘 예측할 수 있는가?
• RQ3 다양한 배경을 가진 개인 간의 대화 패턴은 어떻게 다를지, 그리고 어떻게 유대감을 형성하기 위한 전략을 사용하는가?
• RQ4 다양한 연령대에서 대화 행동과 웰빙 간의 관계는 어떠한가?
• RQ5 다중모달 데이터를 활용하여 자동 대화 턴 분할을 어떻게 향상시킬 수 있는가?

주요 결과

• 코퍼스는 인간의 대화 턴 간섭이 협력적임을 확인하며, 말하는 이의 전환과 다중모달 신호 간 강한 일치를 보였다.
• 기계학습 모델은 음성, 시각, 텍스트 특징을 통합하여 성공적인 대화를 식별하는 데 뚜렷한 예측 성능을 달성했다.
• 다양한 배경을 가진 개인들은 유대감을 형성하기 위해 말 속도, 얼굴 표정 표현성, 턴 간섭 전략 등의 의사소통 패턴을 조정한다.
• 대화 참여도와 자가 보고한 웰빙 간에는 수치적으로도 긍정적인 상관관계가 존재하며, 이는 수명 주기 전반에 걸쳐 일관되게 관찰된다.
• 실시간 음성 및 얼굴 운동을 통합하여 다중모달 동적 특징을 활용한 제안된 알고리즘적 분할 방법은 기존 단일모달 접근 방식보다 뛰어난 성능을 보였다.
• 대화 후 반성 데이터는 참가자들이 자신의 대화 기여도와 정서 상태를 어떻게 인식하는지 일관된 패턴을 드러냈다.