[論文レビュー] Pre-Trained and Attention-Based Neural Networks for Building Noetic Task-Oriented Dialogue Systems

Jia-Chen Gu, Tianda Li+4 more|arXiv (Cornell University)|Apr 4, 2020

Topic Modeling参考文献 32被引用数 13

ひとこと要約

本論文では、BERTおよび新しい適応技術を用いて、マルチターンのタスク指向対話システムに適合させた事前学習済みでアテンションベースのニューラルネットワークを提案する。DSTC 8 Track 2の4つのサブタスクにおいて最先端の結果を達成し、サブタスク3および4で1位、サブタスク2で3位、サブタスク1で4位を記録。アブレーションスタディにより、事前学習、スイッチ埋め込み、分離戦略の有効性が確認された。

ABSTRACT

The NOESIS II challenge, as the Track 2 of the 8th Dialogue System Technology Challenges (DSTC 8), is the extension of DSTC 7. This track incorporates new elements that are vital for the creation of a deployed task-oriented dialogue system. This paper describes our systems that are evaluated on all subtasks under this challenge. We study the problem of employing pre-trained attention-based network for multi-turn dialogue systems. Meanwhile, several adaptation methods are proposed to adapt the pre-trained language models for multi-turn dialogue systems, in order to keep the intrinsic property of dialogue systems. In the released evaluation results of Track 2 of DSTC 8, our proposed models ranked fourth in subtask 1, third in subtask 2, and first in subtask 3 and subtask 4 respectively.

研究の動機と目的

• 複雑なマルチターンのタスク指向対話システムに効果的な事前学習済みでアテンションベースのニューラルネットワークの開発。
• 現実世界の対話システムにおける、マルチパーティ会話、対話成功予測、会話の分離の課題への対処。
• 事前学習言語モデル（例：BERT）を適応させ、内在する対話的性質を保ちながら、対話固有のタスクにおけるパフォーマンスを向上させる。
• DSTC 8 Track 2の全サブタスクにおいて提案モデルを評価し、応答選択、マルチ会話の分離、成功予測、会話セグメンテーションをカバーする。

提案手法

• 対話文脈および応答候補の符号化に、BERTを基盤アーキテクチャとして採用する。
• マルチターン対話における発話者アイデンティティとターンダイナミクスをモデル化するため、スイッチ埋め込みを導入する。
• 複数の並行会話を処理するために、別々の対話ストリームを分離・処理する分離戦略を適用する。
• DSTC 8データセットを超える文脈表現学習を強化するため、外部対話データを用いた事前学習を実施する。
• モデル平均化と確率平均化を用いたアンサンブル学習により、ロバスト性とパフォーマンスを向上させる。
• パラフレージングと重み付き損失関数を用いたデータ拡張により、サブタスク3における一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 事前学習言語モデル（例：BERT）を、複雑な会話構造を持つマルチターンのタスク指向対話システムに効果的に適応させる方法は何か？
• RQ2 発話者に配慮した埋め込みと分離メカニズムは、マルチ会話およびマルチパーティ対話環境でのパフォーマンスにどのような影響を与えるか？
• RQ3 外部対話データを用いた事前学習は、対話理解タスクにおけるゼロショットまたはフェイワショットパフォーマンスをどの程度向上させるか？
• RQ4 スイッチ埋め込みや分離戦略などのアーキテクチャ的要素は、異なる対話サブタスクにおけるモデルパフォーマンスにどのように影響を与えるか？
• RQ5 強力な事前学習モデルと組み合わせた場合、手動特徴量と損失関数の変更はさらにパフォーマンスを向上させるか？

主な発見

• 提案モデルは、サブタスク3（対話成功予測）およびサブタスク4（会話セグメンテーション）で最高順位を達成し、両方で1位を獲得した。
• サブタスク1（応答選択）では4位にランクインし、Recall@1が0.638に達し、優れたリtrievalパフォーマンスを示した。
• サブタスク2（マルチ会話の分離）では3位にランクインし、Recall@1が0.477を記録。アブレーションスタディにより、分離がパフォーマンスに不可欠であることが確認された。
• アブレーションスタディにより、事前学習を削除するとRecall@1が1.6%低下し、スイッチ埋め込みを導入することで0.6%の向上が得られた。
• 確率平均化を用いたアンサンブルモデルは、他の平均化戦略を上回り、サブタスク4で1-Scaled VIが0.947、F1が0.534を達成した。
• BERTを用いても、サブタスク4ではF1が46.3%にとどまり、会話の分離は依然として挑戦的なオープンな問題であることが示された。