[論文レビュー] The World is Not Binary: Learning to Rank with Grayscale Data for Dialogue Response Selection

Zibo Lin, Deng Cai+4 more|arXiv (Cornell University)|Apr 6, 2020

Topic Modeling参考文献 38被引用数 5

ひとこと要約

本論文では、検索モデルと生成モデルから自動的にグレースケールの関連スコアを生成することで、対話応答選択の性能を向上させる手法を提案する。これにより、マルチレベルのランク学習損失の訓練が可能となり、3つのベンチマークで4つの最先端モデルにおいて、応答品質の多様性をより良くモデル化し、トレーニングとテストの分布差を低減することで顕著な性能向上が達成される。

ABSTRACT

Response selection plays a vital role in building retrieval-based conversation systems. Despite that response selection is naturally a learning-to-rank problem, most prior works take a point-wise view and train binary classifiers for this task: each response candidate is labeled either relevant (one) or irrelevant (zero). On the one hand, this formalization can be sub-optimal due to its ignorance of the diversity of response quality. On the other hand, annotating grayscale data for learning-to-rank can be prohibitively expensive and challenging. In this work, we show that grayscale data can be automatically constructed without human effort. Our method employs off-the-shelf response retrieval models and response generation models as automatic grayscale data generators. With the constructed grayscale data, we propose multi-level ranking objectives for training, which can (1) teach a matching model to capture more fine-grained context-response relevance difference and (2) reduce the train-test discrepancy in terms of distractor strength. Our method is simple, effective, and universal. Experiments on three benchmark datasets and four state-of-the-art matching models show that the proposed approach brings significant and consistent performance improvements.

研究の動機と目的

• 応答選択における2値ラベルの限界を解決する。2値ラベルは応答品質の微細な差を捉えられていない。
• トレーニング時に弱い、ランダムなネガティブサンプルを用いることで生じるトレーニングとテストの乖離を低減する。
• 人的アノテーションを一切用いずに、スケーラブルで自動的なグレースケール関連データの生成手法を開発する。
• 応答の関連性レベルの違いを区別できるように、マッチングモデルの能力を向上させる。2値関連性ではなく、さまざまな関連性レベルを区別できるように学習させる。
• 既存のトレーニングフレームワーク（例：co-teaching）との互換性を確保し、モデルの頑健性と汎化性能を向上させる。

提案手法

• 既成品の検索モデルと応答生成モデルを用いて、中間的品質の応答候補を自動的に生成する。
• 真値 > 検索生成 > ランダムサンプルという段階的な品質順序を活用し、関連性の階層を定義する。
• これらの品質レベル間で複数のバイナリ対照学習信号を組み合わせたマルチレベルランク学習目的関数を設計する。
• 高品質と低品質の応答ペair間のペairワイズランク損失を組み合わせて、トレーニング目的関数を定式化する。
• アーキテクチャの変更なしに、標準的なマッチングモデルにグレースケールデータとマルチレベル損失を統合し、直交性と導入の容易さを確保する。
• 提案手法を、co-teaching などの既存の頑健なトレーニングフレームワークと組み合わせることで、さらなる性能向上とノイズ耐性の向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 自動生成されたグレースケールデータは、2値分類をはるかに超えて応答選択モデルの性能を向上させることができるか？
• RQ2 応答品質の微細な差をモデル化することで、強力な誤検出者を含む実世界のテストセットにおける汎化性能が向上するか？
• RQ3 本手法により、誤検出者がより現実的である推論状況とトレーニング状況のギャップを低減できるか？
• RQ4 マルチレベルランク学習目的関数は、標準的なバイナリクロスエントロピーと比較して、モデルの性能と頑健性において優れているか？
• RQ5 本手法は、co-teaching などの既存のトレーニングフレームワークと互換性があり、相乗効果をもたらすか？

主な発見

• 提案手法は、3つのベンチマークデータセット（Ubuntu、Douban、Cornell）における4つの最先端マッチングモデル（SMN、DAM、G-SMN、G-DAM）において、一貫した顕著な性能向上を達成した。
• Ubuntuデータセットでは、G-DAM+CoTがrecall@10 0.981を達成し、ベースラインのDAM+CoT（0.967）と比較して1.5%の絶対的向上を示した。これは強力な汎化性能を示している。
• Doubanでは、G-SMN+CoTがrecall@10 0.970を達成し、ベースラインのSMN+CoT（0.969）を上回り、全指標で一貫した改善が見られた。
• ケーススタディでは、モデルが関連性のないが妥当な応答（プラウズブルな誤検出者）を正しく除外できることを示しており、妥当な誤検出者と真値応答の間の混乱を効果的に低減している。
• co-teachingフレームワークと組み合わせることで、提案手法はさらなる性能向上を達成しており、その互換性と付加価値が実証された。
• マルチレベルランク学習目的関数により、応答が意味的に近くても同一ではない場合に、モデルがより微細な関連性の違いを学習できるようになった。