[論文レビュー] Learning a Matching Model with Co-teaching for Multi-turn Response Selection in Retrieval-based Dialogue Systems

Jiazhan Feng, Chongyang Tao+4 more|arXiv (Cornell University)|Jun 11, 2019

Topic Modeling参考文献 37被引用数 7

ひとこと要約

本論文では、2つのマッチングモデルを同時に学習させることで、ノイズのある訓練データを是正する共同学習フレームワークを提案する。各モデルは教師としても、生徒としても機能し、ノイズのある訓練データを是正する。この手法により、DAM や SMN といった最先端モデルと比較して、P@1 で最大 3.2% の絶対的向上が達成された。

ABSTRACT

We study learning of a matching model for response selection in retrieval-based dialogue systems. The problem is equally important with designing the architecture of a model, but is less explored in existing literature. To learn a robust matching model from noisy training data, we propose a general co-teaching framework with three specific teaching strategies that cover both teaching with loss functions and teaching with data curriculum. Under the framework, we simultaneously learn two matching models with independent training sets. In each iteration, one model transfers the knowledge learned from its training set to the other model, and at the same time receives the guide from the other model on how to overcome noise in training. Through being both a teacher and a student, the two models learn from each other and get improved together. Evaluation results on two public data sets indicate that the proposed learning approach can generally and significantly improve the performance of existing matching models.

研究の動機と目的

• ランダムに選択された応答にしばしば含まれる偽の負例（false negatives）を含む、検索ベースの対話システムにおけるノイズのある負例の問題に取り組む。
• モデルのアーキテクチャを再設計することなく、アーキテクチャの革新ではなく学習に焦点を当て、既存のマッチングモデルの一般化性能を向上させる。
• ノイズのあるラベルによって引き起こされる訓練時とテスト時の性能ギャップを軽減する、頑健な学習フレームワークを開発する。
• SMN や DAM といった異なるモデルアーキテクチャと、Douban や E-commerce といった多様なデータセットに対して、提案手法の有効性を実証する。
• ピアモデルのダイナミクスと教育戦略が、ノイズのあるラベル環境下での学習性能に与える影響を調査する。

提案手法

• データ漏洩を避けるために、2つの独立した i.i.d. 訓練セット上で、同一または異なるマッチングモデルを学習させる。
• 共同学習ループを実装し、各モデルが相手モデルのソフト予測（pseudo-labels）を用いて訓練をガイドし、ノイズのある例をフィルタリングする。
• 3つの教育戦略を適用する：(1) 動的マージン教育、(2) 損失関数による動的インスタンス重み付け、(3) 例選択による動的データカリキュラム。
• 動的マージン教育では、モデルが信頼度の低い予測をフィルタリングし、損失関数を再重み付けするために信頼度の閾値を用いる。
• 動的インスタンス重み付けでは、相手モデルが高信頼度で予測した例に高い重みを付与する。
• 動的データカリキュラムでは、相手モデルの性能に基づいて例を選別・優先順位付けし、段階的に難易度を上げて学習を進める。

実験結果

リサーチクエスチョン

• RQ1 ノイズのあるラベルによって生じる訓練時とテスト時の性能ギャップを、共同学習フレームワークが効果的に是正できるか？
• RQ2 動的マージン、インスタンス重み付け、データカリキュラムといった異なる教育戦略が、モデルの性能と頑健性に与える影響は何か？
• RQ3 共同学習は、SMN や DAM といった異なるマッチングモデルと、Douban や E-commerce といった異なるデータセットに一般化可能か？
• RQ4 訓練過程における相互教育プロセスはどのように進化するのか？また、ピアモデルの品質は学習にどのような役割を果たすか？
• RQ5 複数ターンの応答選択において、既存の弱教師あり学習やカリキュラム学習手法を上回る性能を共同学習が達成できるか？

主な発見

• 動的マージン教育を用いた共同学習により、Douban データセットで SMN が P@1 で 2.8% の絶対的向上、DAM が 2.5% の絶対的向上を達成した。
• E-commerce データセットでは、動的データカリキュラムを用いた共同学習により、SMN が P@1 で 2.4% の絶対的向上、DAM が 3.2% の絶対的向上を達成した。
• 共同学習フレームワークは、両方のデータセットおよびすべての評価指標（MAP、MRR、P@1）において一貫して性能向上を示した。
• 弱教師あり学習アプローチよりも優れた性能を示し、特に Douban データセットでは、同じ正例対負例比のもとで、先行研究よりも高い向上幅を達成した。
• ピアモデルは連携して進化した：高品質なモデルが低品質なモデルを導き、相互是正により両者とも総合的に向上した。
• 異なるアーキテクチャにわたり良好な一般化性能を示したため、ベースモデルの種別にかかわらず、共同学習が有効であることが示された。