[論文レビュー] Enhancing Dialogue Generation via Multi-Level Contrastive Learning

Xin Li, Piji Li+3 more|arXiv (Cornell University)|Sep 19, 2020

Topic Modeling参考文献 39被引用数 4

ひとこと要約

本稿では、トークンレベルおよびインスタンスレベルの両方で微細な応答品質をモデル化することで、会話生成を向上させるマルチレベル対照的学習フレームワークを提案する。モンテカルロロールアウトを用いたランク認識キャリブレーション（RC）ネットワークを導入してトークンレベルの品質推定を行い、知識推論（KI）コンポonentを導入して情報量の多い語の生成を促進することで、洗練された会話データセット上でベースラインモデルに比べ、より関連性が高く多様性に富んだ応答が得られるようになる。

ABSTRACT

Most of the existing works for dialogue generation are data-driven models trained directly on corpora crawled from websites. They mainly focus on improving the model architecture to produce better responses but pay little attention to considering the quality of the training data contrastively. In this paper, we propose a multi-level contrastive learning paradigm to model the fine-grained quality of the responses with respect to the query. A Rank-aware Calibration (RC) network is designed to construct the multi-level contrastive optimization objectives. Since these objectives are calculated based on the sentence level, which may erroneously encourage/suppress the generation of uninformative/informative words. To tackle this incidental issue, on one hand, we design an exquisite token-level strategy for estimating the instance loss more accurately. On the other hand, we build a Knowledge Inference (KI) component to capture the keyword knowledge from the reference during training and exploit such information to encourage the generation of informative words. We evaluate the proposed model on a carefully annotated dialogue dataset and the results suggest that our model can generate more relevant and diverse responses compared to the baseline models.

研究の動機と目的

• 既存の会話モデルがすべての訓練サンプルを同等に扱うという限界に対処し、微細な応答品質の差を無視することを防ぐ。
• 応答品質スコアリングにおける一様なトークン重み付けの問題を克服し、情報量の多い語の抑制や一般的な応答の生成を防ぐ。
• トレーニング中にゴールスタンダード応答からの情報量の多いキーワードを明示的にモデル化することで、応答の関連性と多様性を向上させる。
• シーケンス生成をガイドするため、インスタンスレベルとトークンレベルの両方の品質監視を統合した対照的学習パラダイムを構築する。

提案手法

• クエリ-応答ペアのマルチスケール応答品質スコアを推定するため、ポイントワイズ回帰とペairワイズランク付けを組み合わせたランク認識キャリブレーション（RC）ネットワークを設計する。
• 条件付きで応答をサンプリングし、各トークンが品質に与える寄与度に基づいて可変の重要度スコアを割り当てるため、モンテカルロロールアウトを用いたトークンレベルの品質推定戦略を実装する。
• クエリおよびデコーダーの隠れ状態と関連付けることで、ゴールスタンダード応答からの情報量の多いキーワードを捉え保持する知識推論（KI）コンポonentを導入する。
• 各デコーディングステップに要約された知識メモリを組み込むことで、顕著で文脈的に関連性のある語の生成を促進する。
• RCおよびKIコンポonentを対照的学習フレームワーク内に統合し、応答の関連性と情報量の両方を同時に最適化する。
• 応答レベルおよびトークンレベルの両方の品質監視を統合したマルチレベル対照的目的関数を用い、モデルのトレーニングを精緻化する。

実験結果

リサーチクエスチョン

• RQ1 トークンレベルでの微細な応答品質のモデル化は、会話システムにおける応答の関連性と多様性を向上させることができるか？
• RQ2 モンテカルロロールアウトによるトークンレベルの品質キャリブレーションは、情報量の多い語の抑制を防ぐ観点で、標準的なインスタンスレベルの重み付けと比べてどのように優れているか？
• RQ3 基準応答からのキーワード知識を明示的に学習・統合することで、生成応答の情報量はどの程度向上するか？
• RQ4 マルチレベル対照的学習の統合は、標準的なシーケンス・ツー・シーケンスモデルおよび既存の品質認識ベースラインに対して一貫した改善をもたらすか？

主な発見

• RCおよびKIコンポonentを併用した本手法は、全評価指標で最良の性能を達成し、標準S2Sおよびベースライン品質認識モデルを上回る。
• RCコンポonentを除去すると、関連性スコアが著しく低下する—平均で6%、Extremaで6%、Greedyで7%低下し、トークンレベルキャリブレーションの重要性が裏付けられる。
• KIコンポonentは、「Fantasy Westward Journey」や「Baidu」などの意味のあるキーワードの生成を効果的に促進しており、これらはゴールスタンダード応答に存在するが、ベースラインではしばしば見過ごされる。
• 可視化結果から、RCネットワークは意味的に関連性があり情報量の多いトークン（例：故郷の話題での「Sichuan」、天気関連の質問での「cloudy」）に高い品質スコアを割り当てていることが確認され、文脈依存の重要度を適切に捉えていることが検証された。
• 微細な品質監視のおかげで、「oh, yes」や「I also want to know」のような一般的な応答の生成が減少し、低品質で反復的な出力を抑制している。
• アブレーションスタディの結果、RCおよびKIコンポonentの両方が不可欠であることが示された—いずれかを除去すると性能が低下し、特にRCの欠落が関連性に顕著な悪影響を及ぼす。