[論文レビュー] Multi-Task Learning for Speaker-Role Adaptation in Neural Conversation Models

Yi Luan, Chris Brockett+3 more|arXiv (Cornell University)|Oct 20, 2017

Topic Modeling参考文献 26被引用数 65

ひとこと要約

本論文は、Seq2Seq会話モデリングと非対話データで訓練されたオートエンコーダを組み合わせ、話者の役割へニューラルチャットモデルを適応させる多タスク学習フレームワークを提案する。これにより、Twitterデータにおける困惑度、BLEU、および人間の評価が改善される。

ABSTRACT

Building a persona-based conversation agent is challenging owing to the lack of large amounts of speaker-specific conversation data for model training. This paper addresses the problem by proposing a multi-task learning approach to training neural conversation models that leverages both conversation data across speakers and other types of data pertaining to the speaker and speaker roles to be modeled. Experiments show that our approach leads to significant improvements over baseline model quality, generating responses that capture more precisely speakers' traits and speaking styles. The model offers the benefits of being algorithmically simple and easy to implement, and not relying on large quantities of data representing specific individual speakers.

研究の動機と目的

• 話者固有の会話データ不足に対し、話者横断的な会話データと非会話データの話者データの両方を活用して対処する。
• Seq2Seq会話モデルとオートエンコーダの間でデコーダパラメータを共有する多タスク訓練体系を開発する。
• 個々の話者からの大量データを必要とせずに、共有デコーダパラメータが目標話者の役割へ適応できることを示す。

提案手法

• 2つのタスクを用いる：1) 多くの一般的な話者集団を対象としたSeq2Seq会話タスク、2) 対象話者の非会話データを対象とするオートエンコーダタスク。
• Seq2Seqモデルとオートエンコーダの間でデコーダパラメータのみを共有し、話者適応生成を可能にする。
• 開発セット上のSeq2Seq困惑度に基づいてモデルを選択しつつ、タスクバッチを交互に訓練する。

実験結果

リサーチクエスチョン

• RQ1 非会話型で話者特異的なデータを用いて、一般的な会話モデルを多タスク学習を通じて話者の役割へ適応させることは可能か？
• RQ2 Seq2Seqとオートエンコーダタスク間でデコーダを共有することは、話者の特性や話し方のスタイルを反映するモデル能力を向上させるか？
• RQ3 実データのTwitterデータ上で、MMI付きのベースラインSeq2Seqよりも多タスクアプローチは困惑度およびBLEUで有効か？
• RQ4 話者埋め込み（MTask-M）は、個別話者専用モデル（MTask-S）と比べて効率と性能の面で利点を提供するか？
• RQ5 ターゲット著者の文体的およびドメイン特性を捉える点で、人間による評価でのモデルの評価はどうか？

主な発見

Model	Perplexity (dev)	Perplexity (test)	BLEU (dev)	BLEU (test)	distinct-1 (dev)	distinct-2 (dev)
Baseline	56.33	61.17	1.32	1.31	1.69%	6.53%
MTask-S	32.27	39.83	1.76	1.69	2.43%	10.2%
MTask-M	44.96	43.21	2.52	2.25	2.44%	9.79%

• 多タスクモデルはベースラインに対して困惑度を大幅に低減する（開発: Baseline 56.33; MTask-S 32.27; MTask-M 44.96; 開発時の削減率: -42.7%、-20.2% それぞれ; テスト時: Baseline 61.17; MTask-S 39.83; MTask-M 43.21; テスト時の削減率: -34.9%、-29.4%）。
• BLEUの向上は両方の多タスク変種で顕著（開発: Baseline 1.32; MTask-S 1.76; MTask-M 2.52; 増分: +33.3% および +90.1% それぞれ；テスト: Baseline 1.31; MTask-S 1.69; MTask-M 2.25; 増分: +29.0% および +71.7%）。
• Distinct-1およびDistinct-2は両方の多タスクモデルで多様性が高い（devのdistinct-1: Baseline 1.69%; MTask-S 2.43%; MTask-M 2.44%; devのdistinct-2: Baseline 6.53%; MTask-S 10.2%; MTask-M 9.79%）。
• 人間の評価は、ペアワイズ判断でBaselineに対してMTask-Mが統計的有意な改善を達成（p = 0.026）、またMTask-SとMTask-Mは平均でBaselineを上回る。