[論文レビュー] Dialogue Natural Language Inference

Sean Welleck, Jason Weston+2 more|arXiv (Cornell University)|Nov 1, 2018

Topic Modeling参考文献 16被引用数 18

ひとこと要約

本稿では、会話の一貫性を向上させるために、人物像（パーソナ）と発話文のペアを含む新しいデータセット「Dialogue NLI」を用いて訓練された自然言語推論（NLI）フレームワークを提案する。このデータセットでは、前提（premise）と仮説（hypothesis）の関係が、含意（entailment）、中立（neutral）、矛盾（contradiction）のいずれかにラベル付けされている。訓練済みのNLIモデルを用いて発話候補を再順序付けすることで、パーソナの矛盾を顕著に低減した。自動評価指標と人的評価の両方でその有効性が実証され、NLIが会話システムにおける一貫性向上に有効なツールであることが示された。

ABSTRACT

Consistency is a long standing issue faced by dialogue models. In this paper, we frame the consistency of dialogue agents as natural language inference (NLI) and create a new natural language inference dataset called Dialogue NLI. We propose a method which demonstrates that a model trained on Dialogue NLI can be used to improve the consistency of a dialogue model, and evaluate the method with human evaluation and with automatic metrics on a suite of evaluation sets designed to measure a dialogue model's consistency.

研究の動機と目的

• 会話モデルにおける一貫性の欠如、特に自己または過去の発話と矛盾するパーソナの矛盾という、長年の課題に対処すること。
• 自然言語推論（NLI）が、会話の一貫性の評価と改善のための代理指標として機能できるかどうかを検討すること。
• パーソナベースの会話の一貫性に特化した新しいデータセット「Dialogue NLI」を構築すること。
• NLIを用いて発話候補を再順序付けする実用的な手法を開発・評価すること。これにより、モデルのアーキテクチャを変更せずに一貫性を向上させることを目的とする。

提案手法

• 著者らは、パーソナプロファイルと会話発話文から成る文のペアを収集し、含意、中立、矛盾のラベルを付与した「Dialogue NLI」というデータセットを構築した。
• 標準的なNLIモデルをDialogue NLIで訓練し、前提（例：パーソナ文や過去の発話）と仮説（例：候補となる応答）の関係を分類するようにした。
• 本手法の核となるのは、NLIモデルの信頼度スコアを用いて発話ターンの候補応答を再順序付けすることである。含意を優先し、矛盾を回避するようにする。
• 再順序付けプロセスでは、NLIスコアと生成モデルのログ確信度の温度スケーリング付き加重合成を用い、バリデーションデータ上でハイパーパrameterを最適化した。
• 評価は、ParlAIを介したパーソナベース会話設定とAmazon Mechanical Turkを用いた人的評価、および自動評価指標（Contradict@k、Entail@k）を用いて実施した。
• 本手法は、キーバリュー記憶ネットワークモデルに適用され、NLI再順序付けの有無を比較した。

実験結果

リサーチクエスチョン

• RQ1 自然言語推論は、会話システムにおけるパーソナの矛盾を効果的に検出し、低減するために使用可能か？
• RQ2 会話固有のデータ（Dialogue NLI）で訓練されたNLIモデルは、応答生成における一貫性をどのように向上させるか？
• RQ3 ベースライン会話モデルと比較して、NLIに基づく再順序付けは、不一致エラーをどの程度低減できるか？
• RQ4 NLI予測から導出される自動評価指標は、人的評価に依存することなく、パーソナの一貫性を信頼性高く測定できるか？
• RQ5 NLI再順序付けは、インタラクティブな状況下での人的評価による会話品質と一貫性にどのような影響を与えるか？

主な発見

• NLI再順序付け手法により、矛盾率が顕著に低下し、人的評価セットにおいてContradict@1が0.35から0.27に低下した。これは、不一致応答が減少したことを示している。
• Entail@1スコアは0.25から0.35に向上し、パーソナと整合性のある応答がより高い順位にランクインしたことを示している。
• Haves、Likes、Attributesの3つの評価セットすべてでHits@1が向上し、再順序付け後の応答品質が全体的に向上したことが確認された。
• 人的評価では、NLI再順序付けモデルの細分化された一貫性スコアは0.27（ベースラインは0.35）であり、矛盾検出率は25%低下（0.16 vs. 0.25）しており、一貫性の向上が確認された。
• 自動評価指標であるContradict@kとEntail@kは、すべての評価セットで一貫した改善を示し、人的評価の代替指標としての有効性が裏付けられた。
• 結果から、事前学習済みNLIモデルを会話固有のデータに適応させることで、元の会話生成アーキテクチャを変更せずに一貫性を効果的に向上させられることを示した。