[論文レビュー] Data Augmentation for Neural Online Chat Response Selection

Wenchao Du, Alan W. Black|arXiv (Cornell University)|Sep 3, 2018

Speech Recognition and Synthesis参考文献 16被引用数 6

ひとこと要約

本稿では、会話の文脈と文内セグメントの入れ替えと反転を用いた、ニューラルオンライン会話応答選択のための新規データ拡張手法を提案する。推論時に元データと拡張データを組み合わせることで、英語および中国語の多様なモデルとデータセットにおいて、1–3のRecall@1の向上を達成し、フルスケールおよびスモールスケールの両設定でベースラインを一貫して上回ることを示した。

ABSTRACT

Data augmentation seeks to manipulate the available data for training to improve the generalization ability of models. We investigate two data augmentation proxies, permutation and flipping, for neural dialog response selection task on various models over multiple datasets, including both Chinese and English languages. Different from standard data augmentation techniques, our method combines the original and synthesized data for prediction. Empirical results show that our approach can gain 1 to 3 recall-at-1 points over baseline models in both full-scale and small-scale settings.

研究の動機と目的

• オンライン会話データの構造的・言語的特性に適合したデータ拡張技術を活用することで、ニューラル応答選択モデルの性能を向上させること。
• 会話文および内部メッセージセグメントの入れ替えと反転が、検索ベース会話システムにおけるモデルの一般化能力を向上させることを調査すること。
• これらの拡張戦略が、複数のモデル（LSTM-DE、HRE-DE、SMN）、言語（英語および中国語）、およびデータセット（スモールスケールを含む）でどれほど有効であるかを評価すること。
• 推論時に元データと拡張データを組み合わせることで、拡張データ単体を使用する場合よりも優れた性能が得られるかどうかを検討すること。
• このような拡張手法が、オープンドメインおよびタスク指向会話を含む多様な会話ドメインにおいても頑健であるかどうかを同定すること。

提案手法

• 本手法は2種類のデータ拡張を適用する：会話文脈における直前2番目と直前1番目の会話文の入れ替え、および句読点で分割した文セグメントを反転させる。
• SMNのようなモデルでは、文脈と応答の全メッセージが反転されるが、DEベースのモデルでは文脈メッセージのみが反転される。
• 予測の際、元データと拡張データの両方からの予測を平均化することで、推論時に両者を組み合わせ、モデルの頑健性を向上させる。
• 単語埋め込みは、全コーパス上で学習されたword2vecを用いて初期化され、各アーキテクチャに特化したハイパーパrameterを設定する（例：LSTM-DEおよびHRE-DEでは300次元、SMNでは200次元）。
• 最適化にはAdamを使用し、早期停止を適用する。ドロップアウトはスモールスケール設定でのみ適用される。
• 拡張処理は学習データに適用されるが、予測は元データと変換済み入力を両方用いて実施され、一般化性能の向上が図られる。

実験結果

リサーチクエスチョン

• RQ1 会話文および内部メッセージセグメントの入れ替えと反転は、ニューラル会話モデルにおける応答選択性能を向上させることができるか？
• RQ2 データ拡張の有効性は、異なるニューラルアーキテクチャ（例：LSTM-DE、HRE-DE、SMN）や会話ドメインによって異なるか？
• RQ3 小規模な学習データセットのようなリソースが限られた環境でも、データ拡張は有効に機能するか？
• RQ4 推論時に元データと拡張データを組み合わせることで、拡張データ単体を使用する場合よりも優れた結果が得られるか？
• RQ5 英語および中国語のような異なる言語間で、データ拡張による向上は一貫しているか？

主な発見

• 入れ替えベースの拡張は、全モデルにおいてフルスケールデータセットで1–3のRecall@1向上を達成し、特にLSTM-DEで最大の向上が観察された。
• 反転拡張は、スモールスケール設定で最も顕著な向上を示し、特にSMNにおいてフルスケール学習より顕著な改善が見られた。
• SMNは入れ替えによる改善が最小限であったが、反転による改善は顕著で、内部メッセージの再構成により大きな恩恵を受けることが示唆された。
• Framesデータセットでは入れ替えによる改善が認められなかったが、これは会話が明確なターンキーピング構造を有しており、直前の会話文が極めて関連性が高いことが理由と考えられる。
• スモールスケール設定では、LSTM-DEがデータ拡張を適用することで、複数のデータセットでHRE-DEを上回った。これは、データ効率性に優れていることを示している。
• 推論時に元データと拡張データを組み合わせることで、どのモデルやデータセットに対しても劣化が観察されない一貫した性能向上が得られた。