[論文レビュー] Advancing an Interdisciplinary Science of Conversation: Insights from a Large Multimodal Corpus of Human Speech

Andrew Reece, Gus Cooney+8 more|arXiv (Cornell University)|Mar 1, 2022

Language, Metaphor, and Cognition被引用数 4

ひとこと要約

本論文は、合計850時間、700万語以上の英語会話1,656件を含む大規模なマルチモーダルコーパスを分析することで、会話の学際的科学を前進させる。会話のターン分けのための新規手法を導入し、音声、視覚的、文語的特徴に機械学習を適用して会話の成功を予測するとともに、生涯にわたる会話のダイナミクスとウェルビーイングの関連を明らかにする。

ABSTRACT

People spend a substantial portion of their lives engaged in conversation, and yet our scientific understanding of conversation is still in its infancy. In this report we advance an interdisciplinary science of conversation, with findings from a large, novel, multimodal corpus of 1,656 recorded conversations in spoken English. This 7+ million word, 850 hour corpus totals over 1TB of audio, video, and transcripts, with moment-to-moment measures of vocal, facial, and semantic expression, along with an extensive survey of speaker post conversation reflections. We leverage the considerable scope of the corpus to (1) extend key findings from the literature, such as the cooperativeness of human turn-taking; (2) define novel algorithmic procedures for the segmentation of speech into conversational turns; (3) apply machine learning insights across various textual, auditory, and visual features to analyze what makes conversations succeed or fail; and (4) explore how conversations are related to well-being across the lifespan. We also report (5) a comprehensive mixed-method report, based on quantitative analysis and qualitative review of each recording, that showcases how individuals from diverse backgrounds alter their communication patterns and find ways to connect. We conclude with a discussion of how this large-scale public dataset may offer new directions for future research, especially across disciplinary boundaries, as scholars from a variety of fields appear increasingly interested in the study of conversation.

研究の動機と目的

• 言語学、コンピュータサイエンス、心理学、社会学の知見を統合することで、会話の基盤的学際的科学を確立すること。
• 日常的活動における中心的役割を果たす人間の会話について、科学的理解が限られているにもかかわらず、それを是正すること。
• マルチモーダルデータを用いて会話のターンに分割するための新しいアルゴリズム的手順を開発・検証すること。
• 音声的・顔貌的・意味的特徴といったマルチモーダル特徴が、会話の成功または失敗をどのように予測するかを分析すること。
• 生涯にわたる会話行動とウェルビーイングの縦断的関係を調査すること。

提案手法

• 音声、映像、転写された会話、および声の発話、顔貌、意味的表現の瞬時のアノテーションを含む大規模なマルチモーダルコーパスの収集。
• 会話の結果を予測するために、テキスト、聴覚的、視覚的特徴を統合する機械学習モデルの適用。
• マルチモーダル・キューサインを用いて会話のターンを自動的にセグメント化するための新規アルゴリズム的手順の開発。
• 参加者の経験に関する定性的および定量的分析を豊かにするために、会話後アンケートデータの統合。
• 行動の多様性を捉えるために、統計的モデリングと個々の録画の定性的レビューを組み合わせた混合手法分析の実施。
• 会話分析における既存の知見（たとえば、ターンの譲り合いの協力的性質）を検証・拡張するためにコーパスを活用すること。

実験結果

リサーチクエスチョン

• RQ1 自然な人間の会話において、マルチモーダル・キューサイン（音声的、顔貌的、意味的）はどのように共変するか？
• RQ2 音声、映像、テキスト特徴を用いて、機械学習モデルがどの程度会話の成功を予測できるか？
• RQ3 多様な背景を持つ人々の間で、会話のパターンはどのように異なるのか。また、つながりを築くためにどのような戦略を用いるのか？
• RQ4 さまざまな年齢層において、会話行動とウェルビーイングの関係は何か？
• RQ5 マルチモーダル・データを用いて、自動ターンの譲渡セグメンテーションはどのように改善できるか？

主な発見

• コーパスは、会話のターンの譲渡が協力的であることを確認しており、発話者遷移とマルチモーダル・キューサインとの間に強い整合性が見られた。
• 機械学習モデルは、音声的・視覚的・文語的特徴を統合することで、成功した会話を識別する上で顕著な予測性能を達成した。
• 多様な背景を持つ人々は、つながりを築くために、話速、顔貌の表現性、ターンの譲渡戦略といったコミュニケーション・パターンを適応的に変化させる。
• 生涯にわたる会話の関与と自己報告によるウェルビーイングの間には、測定可能な正の相関関係がある。
• 本研究で提案するターンセグメンテーションのアルゴリズム的手法は、リアルタイムの声の動きと顔貌のダイナミクスを統合することで、従来の単モーダル手法を上回る性能を示した。
• 会話後アンケートの分析から、参加者が自らの会話への貢献や感情状態をどのように認識しているかの一貫したパターンが明らかになった。