[論文レビュー] Curriculum Learning Strategies for IR: An Empirical Study on Conversation Response Ranking

Gustavo Penha, Claudia Hauff|arXiv (Cornell University)|Dec 18, 2019

Neural Networks and Applications被引用数 6

ひとこと要約

本稿は、会話応答ランク付けにおけるニューラルランクモデルに対するcurriculum learning (CL) を調査し、BERT予測と関連性ラベルに基づく難易度スコアから得られる訓練データの順序を再構成することを提案する。CLは、すべての利用可能な情報（会話履歴、応答、ラベル）を用いて難易度を評価し、ハードな例を訓練の初期段階で段階的に導入することで、ランダムな訓練に比べて検索効果を最大で2%向上させることを明らかにした。

ABSTRACT

Neural ranking models are traditionally trained on a series of random batches, sampled uniformly from the entire training set. Curriculum learning has recently been shown to improve neural models' effectiveness by sampling batches non-uniformly, going from easy to difficult instances during training. In the context of neural Information Retrieval (IR) curriculum learning has not been explored yet, and so it remains unclear (1) how to measure the difficulty of training instances and (2) how to transition from easy to difficult instances during training. To address both challenges and determine whether curriculum learning is beneficial for neural ranking models, we need large-scale datasets and a retrieval task that allows us to conduct a wide range of experiments. For this purpose, we resort to the task of conversation response ranking: ranking responses given the conversation history. In order to deal with challenge (1), we explore scoring functions to measure the difficulty of conversations based on different input spaces. To address challenge (2) we evaluate different pacing functions, which determine the velocity in which we go from easy to difficult instances. We find that, overall, by just intelligently sorting the training data (i.e., by performing curriculum learning) we can improve the retrieval effectiveness by up to 2%.

研究の動機と目的

• 情報検索（IR）におけるニューラルランクモデルの性能向上にcurriculum learning（CL）が寄与するかどうかを調査すること。特に、会話応答ランク付けの文脈において検証すること。
• IRにおけるインスタンスの難易度を定義する課題に取り組み、異なる入力空間における複数のスコア関数を評価すること。
• 訓練中にハードなインスタンスを導入する際の最適なスケジューリング関数を特定すること。
• CLによる性能向上が、さまざまな会話ドメイン、長さ、難易度レベルにおいて一貫しているかどうかを評価すること。

提案手法

• クエリ-ドキュメントペアに対するBERTモデルの予測から得られる難易度スコアに基づいて、訓練インスタンスを再順序付けるcurriculum learning戦略を提案する。
• 4つの難易度スコア関数を評価：会話履歴のみ、応答のみ、履歴と応答の両方、および関連性ラベル（U, R, Y）を含むすべての利用可能な情報。
• 線形、root_2、指数関数的など、さまざまなスケジューリング関数を用いて、ハードなインスタンスの導入速度を制御する。
• BERTを2つの会話応答ランク付けデータセット（MSDialog と MANtIS）で微調整したモデルを、スコア評価および検索の両方のタスクに用いるベースモデルとする。
• 標準的なIR指標（MAP と MRR）を用いて、CL戦略とランダムサンプリングベースラインを比較する。
• 会話長、ドメイン、難易度バケットごとに、統計的有意性検定と誤差分析を実施し、結果の堅牢性を検証する。

実験結果

リサーチクエスチョン

• RQ1 curriculum learningは会話応答ランク付けにおけるニューラルランクモデルの性能を向上させるか？もしそうならば、その向上幅はどの程度か？
• RQ2 U, R, Y、またはそれらの組み合わせといった、どの入力空間がIRにおけるcurriculum learningのための最も効果的な難易度スコア関数を提供するか？
• RQ3 訓練中にハードなインスタンスを導入する際の最適なスケジューリング関数は何か？モデル効果を最大化するには。
• RQ4 curriculum learningによる向上効果は、さまざまな会話ドメイン、長さ、難易度レベルにおいて一貫しているか？

主な発見

• curriculum learningは、ランダムな訓練ベースラインに比べて、検索効果を最大で2%向上させ、MSDialog および MANtIS データセットの両方で統計的に有意な向上を示した。
• 関連性ラベル（Y）とすべての利用可能な情報（U, R, Y）を用いたスコア関数が、会話履歴や応答のみに依存するものよりも優れており、BERT_{pred} と BERT_{loss} が最も顕著な向上を示した。
• ハードなインスタンスを訓練の初期段階で早期に導入する戦略（例：root_2 スケジューリング関数）が、遅めまたは速めの導入戦略よりも優れたモデル性能をもたらした。
• curriculum learningによる効果向上は、さまざまな会話ドメイン、長さ、難易度バケットにわたって分布しており、広範な適用可能性を示している。
• 関連性ラベルを用いないスコア関数は、ランダムベースラインを上回らなかった。これは、ラベルを活用した難易度推定の重要性を示している。
• 結果から、curriculum learningはモデルアーキテクチャを変更せずに、新規なニューラルアーキテクチャと同等の向上効果をもたらす可能性があることが示唆された。