[論文レビュー] Dialogue Response Selection with Hierarchical Curriculum Learning

Yixuan Su, Deng Cai+7 more|arXiv (Cornell University)|Dec 29, 2020

Topic Modeling参考文献 35被引用数 7

ひとこと要約

本稿では、対話応答選択のための階層的カリキュラム学習（HCL）フレームワークを提案する。このフレームワークは、訓練データを2つの補完的カリキュラムに整理することで、段階的に難易度を上げる形でモデルを訓練する。1つはコーパスレベル（CC）で、陽性応答における一致の手がかりを特定する難易度を段階的に上げる。もう1つはインスタンスレベル（IC）で、陰性応答における不一致信号の検出を強化する。この手法は、複数の最先端モデルおよびベンチマークデータセットにおいて顕著な性能向上を達成する。

ABSTRACT

We study the learning of a matching model for dialogue response selection. Motivated by the recent finding that models trained with random negative samples are not ideal in real-world scenarios, we propose a hierarchical curriculum learning framework that trains the matching model in an "easy-to-difficult" scheme. Our learning framework consists of two complementary curricula: (1) corpus-level curriculum (CC); and (2) instance-level curriculum (IC). In CC, the model gradually increases its ability in finding the matching clues between the dialogue context and a response candidate. As for IC, it progressively strengthens the model's ability in identifying the mismatching information between the dialogue context and a response candidate. Empirical studies on three benchmark datasets with three state-of-the-art matching models demonstrate that the proposed learning framework significantly improves the model performance across various evaluation metrics.

研究の動機と目的

• 対話応答選択におけるランダムな陰性サンプリングの限界を是正すること。これは、現実世界のシナリオにおける強い干渉要因を処理できないことによる。
• 文脈-応答ペア間の関連性の度合いのばらつきを明示的にモデル化することで、モデルの汎化性能を向上させること。
• 陽性および陰性例の学習における難易度を体系的に段階的に上げる訓練フレームワークを開発すること。
• 提案されたカリキュラム学習アプローチの有効性を、多様な一致モデルおよびベンチマークデータセットにおいて評価すること。

提案手法

• フレームワークは、語彙的および意味的一致信号に基づいて、陽性応答ペアの難易度順に訓練をスケジューリングするコーパスレベルのカリキュラム（CC）を導入する。
• インスタンスレベルのカリキュラム（IC）は、陰性応答の干渉強度をランク付けし、訓練中に徐々に難易度の高い陰性例を導入する。
• CCは、陽性ペアの難易度を制御するパーシング関数 pcc(t) を使用する。初期難易度 pcc(0) を最適な性能を得るために調整し、易しめから難しくなるように開始する。
• ICは、徐々に関連性の高いサブセットから陰性応答をサンプリングするパーシング関数 pic(t) を採用する。kT はカリキュラムの長さを決定する。
• この手法はモデルに依存せず、任意の一致モデルと統合可能である。順序付けモデルを用いて文脈-応答ペアのスコアを算出する。
• 訓練プロセスは、現在の学習状態に応じて動的にデータを選択し、難易度の高い例に段階的に露出させる。

実験結果

リサーチクエスチョン

• RQ1 カリキュラム学習を陽性および陰性例の両方に適用した場合、応答選択の性能はどのように向上するか？
• RQ2 モデル性能の観点から、コーパスレベルカリキュラムの最適な初期難易度は何か？
• RQ3 インスタンスレベルカリキュラムの長さは、モデルの汎化性能およびロバストネスにどのように影響するか？
• RQ4 提案されたHCLフレームワークは、多様な最先端の一致モデルを一貫して改善できるか？
• RQ5 順序付けモデルのアーキテクチャの選択が、HCLフレームワークの有効性に影響を与えるか？

主な発見

• HCLフレームワークは、Douban、Cornell、Ubuntuの3つのベンチマークデータセットにおいて、すべての評価指標で顕著な性能向上を達成した。
• Doubanデータセットでは、最も性能の高かったモデル（SA-BERT）がP@1 0.511、R10@2 0.535に向上した。
• pcc(0) ≤ 0.3 のコーパスレベルカリキュラムは安定した性能を示したが、pcc(0) = 1.0 の場合に顕著な低下が見られ、難易度を段階的に上げる必要があることを確認した。
• インスタンスレベルカリキュラムは、kT を最適化することで、極めて関連性の高い偽陰性に過剰適合するのを防ぎ、難易度の高い陰性例を効果的に活用できる。
• 順序付けモデルの選択は性能に影響を及けるが、BERTのような強力なモデルですら、HCLで強化された一致モデルに劣る結果となり、フレームワークのロバストネスを示した。
• HCLフレームワークは、SMN、MSN、SA-BERTの3つの異なる一致モデルにおいて一貫して性能を向上させ、汎化能力の高さを実証した。