[論文レビュー] Grounded Agreement Games: Emphasizing Conversational Grounding in Visual Dialogue Settings

David Schlangen|arXiv (Cornell University)|Aug 29, 2019

Multimodal Machine Learning Applications参考文献 20被引用数 10

ひとこと要約

本稿では、タスク完了における相互合意を要件としていることにより会話的接地を強調する、視覚対話のための新規フレームワーク「グランド・アポイントメント・ゲーム」を紹介する。共通の目的として合意に至ることを組み込むことで、メタ意味的調整、是正戦略、より洗練された対話パターンが促進され、標準的な次発話予測タスクと比較して、より自然で接地された対話学習が可能になる。

ABSTRACT

Where early work on dialogue in Computational Linguistics put much emphasis on dialogue structure and its relation to the mental states of the dialogue participants (e.g., Allen 1979, Grosz & Sidner 1986), current work mostly reduces dialogue to the task of producing at any one time a next utterance; e.g. in neural chatbot or Visual Dialogue settings. As a methodological decision, this is sound: Even the longest journey is a sequence of steps. It becomes detrimental, however, when the tasks and datasets from which dialogue behaviour is to be learned are tailored too much to this framing of the problem. In this short note, we describe a family of settings which still allow to keep dialogues simple, but add a constraint that makes participants care about reaching mutual understanding. In such agreement games, there is a secondary, but explicit goal besides the task level goal, and that is to reach mutual understanding about whether the task level goal has been reached. As we argue, this naturally triggers meta-semantic interaction and mutual engagement, and hence leads to richer data from which to induce models.

研究の動機と目的

• 現在の視覚対話データセットに見られる会話的接地の欠如に取り組むこと。これは、対話を次発話予測に還元し、相互理解をモデル化しないことによる。
• 参加者が協調し、タスクの成果を相互に確認するような対話設定を構築することにより、是正や意味的交渉といった協調現象を強調すること。
• 複雑な対話パターン（フィードバック、明確化、概念的整合）を支持しつつも、シンプルで制御可能な環境を設計すること。
• 人間の対話に類似した協調を反映する、データ豊富で接地された対話的相互作用を提供し、対話エージェントのより強固な訓練を可能にすること。
• 明示的な合意メカニズムが、より自然でインタラクティブで意味的に整合性のある対話行動をもたらすことを示すこと。

提案手法

• 参加者がタスク完了を共同で確認する必要がある「アポイントメント・ゲーム」を導入し、主なタスクを超えて相互理解の二次的目標を創出する。
• 空間的協調、画像一致、概念的交渉のそれぞれの側面に焦点を当てた環境（MeetUp、MatchIt、Concept Learning Game）を設計する。
• 両参加者が合意することでゲームを終了できる「コミットメントの対称性」を採用し、片方が一方的に行うことを防ぐ。
• 合意の前など、交渉のための関連領域を設け、フィードバックや明確化を可能にする。
• 自然言語を用いて曖昧さを解消するため、部屋の種別や画像の識別といった意味的コンテンツの交渉を行う対話を収集・分析する。
• 既存のデータセットやツール（例：sempix、meetupコード）を用い、再現可能性と再利用を可能にするためにデータフォーマットを標準化する。

実験結果

リサーチクエスチョン

• RQ1 どのように対話設定を設計すれば、単なる次発話生成ではなく、相互理解と協調を促進できるか？
• RQ2 視覚対話において、参加者がタスク完了を相互に合意する必要がある場合、どのような対話パターンが生じるか？
• RQ3 合意に基づく設定は、標準的な視覚的質疑応答やチャットボットベンチマークと比較して、より洗練され、接地された対話行動を引き出せるか？
• RQ4 両者が結果に合意する必要がある場合、参加者はどのように意味的コンテンツを交渉し、曖昧さを解消するか？
• RQ5 アポイントメント・ゲームは、フィードバック、明確化、概念的整合といったメタ意味的相互作用をどの程度サポートするか？

主な発見

• アポイントメント・ゲームは、フィードバック、明確化、概念的交渉といったメタ意味的相互作用を効果的に引き出し、標準的な視覚対話設定には見られない。
• MeetUpゲームでは、参加者が空間的推論を協調的に行い、相互に確認しながら、視覚的ヒントが曖昧であっても共有の場所について記述言語を用いて一致を図る。
• MatchItゲームでは、単純な画像一致タスクでさえ、明示的な相互確認と意味的交渉（例：部屋が洗濯室かお風呂場かの解釈）を引き起こす。
• Concept Learning Gameでは、参加者が共通の視覚的カテゴリー（例：鳥の羽の色、足の色）について、説明を再考・精錬し、合意に至る概念的交渉を行う。
• 合意メカニズムによりコミットメントの対称性が実現され、一方的タスク完了が防止され、両エージェントが協調プロセスに継続的に関与するようになる。
• 得られた対話はより自然でインタラクティブで接地されており、標準的な次発話予測ベンチマークには欠落している、是正や一致といった現実世界の対話ダイナミクスを反映している。