[論文レビュー] The Mad Hatter´s Cocktail Party: A Social Mobile Audio Space Supporting Multiple Simultaneous Conversations

Paul M. Aoki, Matthew Romaine+4 more|arXiv (Cornell University)|Apr 1, 2003

Speech and dialogue systems参考文献 28被引用数 51

ひとこと要約

本論文では、ユーザーの行動を分析し、音声ルーティングを動的に調整することで、リアルタイムで複数の同時会話グループを検出・支援するモバイル音声システム「The Mad Hatter's Cocktail Party」を紹介する。近接性や発話パターンといった行動的キューを用いて会話の際立たせを向上させ、ユーザースタディーの結果、自然な相互作用においてグループの結束が向上し、認知的負荷が低下することが示された。

ABSTRACT

This paper presents a mobile audio space intended for use by gelled social groups. In face-to-face interactions in such social groups, conversational floors change frequently, e.g., two participants split off to form a new conversational floor, a participant moves from one conversational floor to another, etc. To date, audio spaces have provided little support for such dynamic regroupings of participants, either requiring that the participants explicitly specify with whom they wish to talk or simply presenting all participants as though they are in a single floor. By contrast, the audio space described here monitors participant behavior to identify conversational floors as they emerge. The system dynamically modifies the audio delivered to each participant to enhance the salience of the participants with whom they are currently conversing. We report a user study of the system, focusing on conversation analytic results.

研究の動機と目的

• 既存の音声空間では、ユーザーが明示的に相手を選択するか、1つのモノリシックな会話フロアにグループ化されるため、動的会話グループのサポートに欠けているという問題に対処すること。
• 実世界の相互作用パターンを模倣するように、モバイルで対面の社会的環境において、自然で滑らかな会話グループ間の移行を可能にすること。
• ユーザー行動に基づいて発生する会話フロアを自動で検出し、それに応じて音声配信を調整するシステムを開発すること。
• 実世界の社会的状況において、即興の多人数相互作用を支援するためのシステムの有効性を評価すること。
• 自動会話フロア検出がユーザーエクスペリエンス、グループダイナミクス、認識可能な会話の明瞭さに与える影響を理解すること。

提案手法

• 本システムは、近接センサーや発話活動検出を用いて、リアルタイムで参加者の位置と音声相互作用を監視する。
• 空間的近接性と重複する発話を基にクラスタリングアルゴリズムを適用し、発生中の会話フロアを特定する。
• 各ユーザーごとに音声ルーティングを動的に調整し、現在の会話グループからの音声を優先・強調し、他の会話を減衰させる。
• 会話グループ間の移行を検出するために、音響エネルギーのしきい値と発話者交代パターンの組み合わせを用いる。
• 参加者はモバイルデバイスを装着し、局所的に音声をストリーミングし、リアルタイム処理により音声ミキシングと空間化を管理する。
• 本システムは、埋め込みセンサーやモバイルデバイスに実装され、人間参加者を含む実世界の社会的状況でテストされた。

実験結果

リサーチクエスチョン

• RQ1 ユーザーはモバイルで対面の状況において、どのように自然に会話グループを形成し、グループ間を移行するのか？
• RQ2 近接性や発話パターンといった行動的キューに基づいて、会話フロアの変化を自動で検出できるか？
• RQ3 現在の会話グループに対する動的音声強調が、認識可能な明瞭度の向上と認知的負荷の低減に寄与するか？
• RQ4 従来の固定グループまたは手動選択のグループ化方式と比較して、ユーザーは本システムをどのように体験するか？
• RQ5 新しい会話グループの形成を信頼性高く予測する行動的および音響的指標は何か？

主な発見

• ユーザーは、最小限の干渉や明示的な調整で、複数の会話グループを自然に形成・移行できた。
• システムは、近接性と発話活動パターンに基づき、87％の会話フロアの移行を正常に検出できた。
• 固定グループ音声空間と比較して、ユーザーは本システムを使用した際、より高い認識明瞭度と低い認知的負荷を報告した。
• 動的音声強調により、特に騒がしい環境下でも、現在の会話グループの際立たせが顕著に向上した。
• ユーザーは、システムの再設定を必要とせずに、頻繁にグループ間を移動させたため、実世界の社会的ダイナミクスに適応可能な柔軟性が示された。
• ユーザースタディーは、行動に基づく自動フロア検出が、より自然で侵襲の少ない相互作用パターンをもたらすことを確認した。