[論文レビュー] Learning Matching Models with Weak Supervision for Response Selection in Retrieval-based Chatbots

Yu Wu, Wei Wu+2 more|arXiv (Cornell University)|May 7, 2018

Topic Modeling参考文献 19被引用数 6

ひとこと要約

本論文では、弱教師付き学習手法を提案し、事前学習済みのシーケンス・トゥ・シーケンス（Seq2Seq）モデルを弱教師として用いて、ラベルなし応答候補に対するソフトマッチングスコアを生成することで、検索ベースチャットボットにおける応答選択モデルの学習を向上させることを目的としている。本手法は、現実的なハードネガティブ例とソフト教師信号を活用することで、公開ベンチマーク上での性能を顕著に向上させ、標準的なランダムネガティブサンプリングベースラインを上回る。

ABSTRACT

We propose a method that can leverage unlabeled data to learn a matching model for response selection in retrieval-based chatbots. The method employs a sequence-to-sequence architecture (Seq2Seq) model as a weak annotator to judge the matching degree of unlabeled pairs, and then performs learning with both the weak signals and the unlabeled data. Experimental results on two public data sets indicate that matching models get significant improvements when they are learned with the proposed method.

研究の動機と目的

• 応答選択におけるランダムネガティブサンプリングの限界を解決すること。これは、ノイズを含む誤ったネガティブ例を導入し、意思決定境界を歪めるためである。
• ラベル付きデータが限られる状況でも、インデックスから取得したラベルなし応答候補を活用することで、マッチングモデルの学習を改善すること。
• 訓練中に現実の検索シナリオを模倣するために、意味的に多様なハードネガティブ例を組み込むこと。
• 事前学習済みSeq2Seqモデルから得られるソフトマッチングスコアを弱教師信号として用いることで、モデルの頑健性と一般化性能を向上させること。
• 弱教師付き学習によるSeq2Seqモデルが、応答選択性能において統計的に有意な向上をもたらすことを示すこと。

提案手法

• ラベルなしのヒューマン・トゥ・ヒューマン会話の大規模データセット上で事前学習されたSeq2Seqモデルを、ラベルなしの入力-応答ペairにソフトマッチングスコアを割り当てる弱教師として用いる。
• ラベルなしデータは、事前に構築されたインデックスから応答候補を検索することで構築され、現実の検索シナリオを模倣する。
• Seq2Seqモデルから得られる弱教師信号（ソフトスコア）を、交差エントロピーの目的関数を用いてマッチングモデルに訓練する。これにより、ハードなゼロ・オール・ラベルに置き換える。
• 本手法は、Seq2Seqモデルがヒューマン会話から知識を転移する教師-生徒フレームワークに従う。
• 訓練データには、ヒューマン応答（真のポジティブ）と、検索から得た多様なネガティブ候補（ハードネガティブを含む）が含まれる。
• 本手法は、LSTM、CNN、BiLSTM、SMNなど、任意のニューラルマッチングモデルアーキテクチャと互換性がある。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータが限られる状況で、事前学習済みSeq2Seqモデルからの弱教師信号が応答選択性能を向上させられるか？
• RQ2 ハードなバイナリラベルではなくソフトマッチングスコアを用いることで、応答選択モデルの意思決定境界が改善されるか？
• RQ3 ハードネガティブを含む、検索で得たラベルなし応答候補を用いた訓練が、モデルの頑健性と一般化性能を向上させられるか？
• RQ4 性能向上は弱教師信号の効果か、データ構築戦略の効果か、それとも両者の組み合わせによるものか？
• RQ5 取得する応答候補の数が、マッチングモデルの学習にどのように影響するか？

主な発見

• 提案手法は、複数のマッチングモデルにおいて応答選択性能を顕著に向上させ、STCデータセットではP@1が最大4.5%向上、Doubanデータセットでは3.9%向上した。
• 弱教師付き学習で微調整されたSMNモデル（SMN+WS）は、DoubanデータセットでP@1が0.421を達成し、ベースラインSMNより相対的に3.9%の向上を示した。
• 本手法は、両データセットの全指標においてランダムネガティブサンプリングベースラインを上回り、p < 0.01の有意水準で統計的に有意な改善が得られた。
• アブレーションスタディの結果、性能向上には弱教師信号と現実的な訓練データ（ハードネガティブを含む）の両方が不可欠であることが確認された。
• 応答候補の数を2から20に増やすことで、一貫した性能向上が得られ、STCのLSTMではP@1が0.603から0.616に上昇した。
• Seq2Seq弱教師の繰り返し再訓練はマッチングモデルの性能向上に寄与しなかった。これは、現在の弱教師信号がすでに有効であり、強化学習による改善が容易でないことを示唆している。