[論文レビュー] Generating Multiple Diverse Responses with Multi-Mapping and Posterior Mapping Selection

Chaotao Chen, Jinhua Peng+3 more|arXiv (Cornell University)|Jun 5, 2019

Topic Modeling参考文献 27被引用数 6

ひとこと要約

本稿では、オープンドメイン会話における多様で高品質な応答を生成するために、事後分布を考慮したマッピング選択を組み込んだマルチマッピング機構を提案する。訓練中に各ターゲット応答に対応する正しいマッピングモジュールを事後分布に依存して選択するモジュールを導入することで、潜在的メカニズムの正確な最適化を可能にし、ベンチマークデータセット上での応答の多様性と情報量において、先行手法を上回る性能を発揮する。

ABSTRACT

In human conversation an input post is open to multiple potential responses, which is typically regarded as a one-to-many problem. Promising approaches mainly incorporate multiple latent mechanisms to build the one-to-many relationship. However, without accurate selection of the latent mechanism corresponding to the target response during training, these methods suffer from a rough optimization of latent mechanisms. In this paper, we propose a multi-mapping mechanism to better capture the one-to-many relationship, where multiple mapping modules are employed as latent mechanisms to model the semantic mappings from an input post to its diverse responses. For accurate optimization of latent mechanisms, a posterior mapping selection module is designed to select the corresponding mapping module according to the target response for further optimization. We also introduce an auxiliary matching loss to facilitate the optimization of posterior mapping selection. Empirical results demonstrate the superiority of our model in generating multiple diverse and informative responses over the state-of-the-art methods.

研究の動機と目的

• 1つの入力に対して複数の妥当な応答が存在するオープンドメイン会話における1対多応答生成問題に対処すること。
• 複数の潜在的要因を用いて多様性を実現する既存手法における、潜在的メカニズムの粗い最適化を克服すること。
• 対応する潜在的メカニズムにターゲット応答を明示的に結びつけることで、モデルの解釈可能性とマルチモーダル応答の捉え込みを向上させること。
• ターゲット応答（事後分布）の情報を活用して、各マッピングモジュールの正確な訓練を実現すること。
• 事後マッピング選択をガイドする補助マッチング損失を導入し、応答の多様性と品質を向上させること。

提案手法

• 入力投稿から多様な応答へと異なる意味的マッピングをモデル化するため、複数のマッピングモジュールを潜在的メカニズムとして導入するマルチマッピング機構を提案する。
• 訓練中にターゲット応答情報に基づき、正解応答に対応するマッピングモジュールを事後マッピング選択モジュールが選択する。
• 各訓練例に対しては、選択されたマッピングモジュールのみを最適化することで、各メカニズムの正確で焦点を絞った学習を実現する。
• 入力投稿とターゲット応答の関連性を評価する補助マッチング損失を組み込み、事後マッピング選択の正確性を向上させる。
• アテンションを備えたシーケンス・トゥ・シーケンスフレームワークを用い、共有エンコーダと個別のデコーダーヘッドを介して各マッピングモジュールが異なる応答パターンを学習する。
• 生成された応答に対してキーワード分析を実施し、各マッピングモジュールが捉えている意味的パターン（例：疑問形、感情表現、意見表明）を解釈する。

実験結果

リサーチクエスチョン

• RQ1 明示的な事後マッピング選択を組み込んだマルチマッピング機構は、オープンドメイン対話における応答の多様性と品質を向上させることができるか？
• RQ2 ターゲット応答情報に基づいて正しいマッピングモジュールを選択することで、潜在的メカニズムの正確で効果的な最適化が達成できるか？
• RQ3 提案手法は、疑問形の応答、感情表現、意見共有といった、解釈可能で明確に区別された応答のパターンを捉えることができるか？
• RQ4 補助マッチング損失は、事後マッピング選択モジュールの最適化にどのように寄与しているか？
• RQ5 本モデルは、既存手法に比べて、多様で流暢で情報豊富な応答をどれほど効果的に生成できるか？

主な発見

• 提案手法は、WeiboおよびCornell Movie Dialogデータセット上において、最先端の手法と比較して顕著に多様で情報豊富な応答を生成する。
• キーワード分析の結果、各マッピングモジュールが明確に区別され、解釈可能な応答パターン（例：疑問形、感情表現、意見表明）を捉えていることが確認された。
• 事後マッピング選択モジュールは、各ターゲット応答に対して適切なマッピングモジュールを効果的に特定できており、焦点を絞った最適化を可能にしている。
• 補助マッチング損失は、事後マッピング選択の性能を向上させ、全体的な応答生成品質の向上に寄与している。
• 実験結果から、自動評価指標および人間評価の両面で、応答の多様性と情報量において、既存手法を上回ることが示された。
• 本モデルは、マルチモーダル応答分布を効果的に捉える能力を示し、ガウス分布ベースおよびアテンションベースのベースラインと比較して、多様な応答パターンのモデル化において優れた性能を発揮した。