[論文レビュー] Addressee and Response Selection in Multi-Party Conversations with Speaker Interaction RNNs

Rui Zhang, Honglak Lee+2 more|arXiv (Cornell University)|Sep 12, 2017

Speech and dialogue systems被引用数 26

ひとこと要約

この論文では、発話者（送信者、受信者、観察者）の役割に応じて別々のGRUユニットを用いて発話者埋め込みを更新する、マルチパーティ会話における発話者選定と応答選定のための共同モデルであるSpeaker Interaction RNN（SI-RNN）を提案する。SI-RNNは、発話者と応答のペアを同時に予測することで、特に複数の並行する部分会話や長時間にわたる会話文脈において顕著に精度を向上させ、最先端の性能を達成する。

ABSTRACT

In this paper, we study the problem of addressee and response selection in multi-party conversations. Understanding multi-party conversations is challenging because of complex speaker interactions: multiple speakers exchange messages with each other, playing different roles (sender, addressee, observer), and these roles vary across turns. To tackle this challenge, we propose the Speaker Interaction Recurrent Neural Network (SI-RNN). Whereas the previous state-of-the-art system updated speaker embeddings only for the sender, SI-RNN uses a novel dialog encoder to update speaker embeddings in a role-sensitive way. Additionally, unlike the previous work that selected the addressee and response separately, SI-RNN selects them jointly by viewing the task as a sequence prediction problem. Experimental results show that SI-RNN significantly improves the accuracy of addressee and response selection, particularly in complex conversations with many speakers and responses to distant messages many turns in the past.

研究の動機と目的

• 発話者が会話の各ターンで送信者、受信者、観察者という役割を動的に変化させる複雑なマルチパーティ会話のモデリングに挑戦する。
• 従来のモデルが送信者の埋め込みのみを更新し、発話者と応答を別々に選択するため、予測に一貫性が欠けるという限界を克服する。
• 候補集合から最も適切な発話者と応答を同時に予測することで、リtrievalベースの会話システムの性能を向上させる。
• 特に多くのターンにわたって離れたメッセージに対する応答を処理する際の性能を向上させる。
• 発話者間の相互作用ダイナミクスを明示的にモデル化することで、より自然で文脈的に整合性のあるマルチパーティ会話システムを実現する。

提案手法

• 各ターンにおける現在の役割（送信者、受信者、観察者）に基づいて、発話者埋め込みを更新する別個のGRUベースのユニットを備えた役割に敏感な会話エンコーダーを設計する。
• 時間経過に伴い進化する動的発話者埋め込みを維持し、役割固有の状態と相互作用履歴を捉える。
• 発話者選定と応答選定を、応答が与えられたもとでの発話者の条件付き確率、およびその逆をモデル化する共同シーケンス予測問題として定式化する。
• 推論時に発話者-応答ペアの同時確率を最大化することで、選択の整合性を保証する。
• 発話文の埋め込み（例えば事前学習済みモデルからのもの）を会話エンコーダーの入力とし、役割に配慮したゲーティング機構を介して発話者表現を更新する。
• 公開ベンチマークデータセットから得たラベル付き発話者-応答ペアを用いて、クロスエントロピー損失を用いてモデルをエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 送信者の埋め込みのみを更新するモデルと比較して、役割に敏感な発話者埋め込みの更新は、マルチパーティ会話における発話者と応答の選定を改善するか？
• RQ2 発話者と応答のペアを共同で予測することで、別々の選択戦略に比べてより一貫性があり正確な選択が可能になるか？
• RQ3 複数の並行する部分会話や長距離依存性を有する複雑な会話において、モデルの性能はどの程度か？
• RQ4 会話の焦点が変わった後でも、何ターンも前に発せられたメッセージに適切に応答できるか？
• RQ5 多数の発話者が関与し、会話の複雑さが高い状況において、モデルの性能はどの程度向上するか？

主な発見

• SI-RNNは、特に多数の発話者が関与する複雑な会話において、従来の最先端モデルであるDynamic-RNNと比較して、発話者と応答の選定精度を顕著に向上させる。
• 遠く離れたメッセージに対する応答の選定において優れた性能を示し、強力な長文脈記憶力と役割に配慮した推論能力を示している。
• 事例研究において、SI-RNNは「releaf」についてUbuntuラップトップについての新しい部分会話に適切に参加し応答できるのに対し、ベースラインモデルはそのような状況を認識できない。
• SI-RNNは、発話者が最も最近発話した者でない場合でも関連する応答を正しく選択できるが、Dynamic-RNNは最新のやり取りに偏る傾向がある。
• 実際のIRC会話データを用いた定性的分析から、共同予測機構により、発話者-応答ペアの不整合が減少していることが示された。
• 役割固有の埋め込みを維持・更新できる能力により、モデルは複数の並行する会話の進行を追跡し、それぞれに適切に対応できる。