[論文レビュー] Learning an Effective Context-Response Matching Model with Self-Supervised Tasks for Retrieval-based Dialogues

Ruijian Xu, Chongyang Tao+4 more|arXiv (Cornell University)|Sep 14, 2020

Topic Modeling参考文献 28被引用数 10

ひとこと要約

本稿では、事前学習言語モデル（PLM）を4つの自己教師ありタスク（次セッション予測、発話の修復、不整合性検出、一貫性の識別）と共同で学習させることで、検索ベース対話応答選択の性能を向上させるマルチタスク学習フレームワークを提案する。この手法は文脈理解と応答選択性能を顕著に向上させ、Ubuntuおよび電子商取引データセットの2つのベンチマークデータセットで、それぞれR@10@1で2.9%および4.8%の絶対的向上を達成し、最先端の結果を実現した。

ABSTRACT

Building an intelligent dialogue system with the ability to select a proper response according to a multi-turn context is a great challenging task. Existing studies focus on building a context-response matching model with various neural architectures or PLMs and typically learning with a single response prediction task. These approaches overlook many potential training signals contained in dialogue data, which might be beneficial for context understanding and produce better features for response prediction. Besides, the response retrieved from existing dialogue systems supervised by the conventional way still faces some critical challenges, including incoherence and inconsistency. To address these issues, in this paper, we propose learning a context-response matching model with auxiliary self-supervised tasks designed for the dialogue data based on pre-trained language models. Specifically, we introduce four self-supervised tasks including next session prediction, utterance restoration, incoherence detection and consistency discrimination, and jointly train the PLM-based response selection model with these auxiliary tasks in a multi-task manner. By this means, the auxiliary tasks can guide the learning of the matching model to achieve a better local optimum and select a more proper response. Experiment results on two benchmarks indicate that the proposed auxiliary self-supervised tasks bring significant improvement for multi-turn response selection in retrieval-based dialogues, and our model achieves new state-of-the-art results on both datasets.

研究の動機と目的

• 既存の検索ベース対話システムが単一タスク学習に依存しており、対話データに内在する豊富なトレーニング信号を無視するという限界を是正すること。
• 対話構造および意味的特徴に特化した自己教師ありタスクを活用することで、文脈理解と応答選択性能を向上させること。
• コアなPLMベースの一致アーキテクチャを変更せずに、応答選択のための特徴学習を強化すること。
• 特に長文脈およびリソースが限られた状況において、より良い一般化性能とロバストネスを達成すること。

提案手法

• 対話に特化した4つの自己教師ありタスク（次セッション予測、発話の修復、不整合性検出、一貫性の識別）を導入する。
• 主な応答選択タスクとこれらの補助タスクをマルチタスク学習設定で共同で学習させるPLMベースの文脈-応答一致モデルを構築する。
• 対話文脈および応答候補の両方の文脈表現を抽出するために、共有のBERTベースエンコーダーを用いる。
• 各自己教師あり目的に特化したヘッドを適用しつつ、主なエンコーダーのパラメータを共有する。
• トレーニング中に、主な応答選択タスクと4つの補助タスクの損失を統合して最適化する。
• アブレーションおよび一般化分析の観点から、同じ自己教師あり学習スキームをPLMベースおよび非PLMベースの応答選択モデルに適用する。

実験結果

リサーチクエスチョン

• RQ1 対話データに特化した自己教師ありタスクは、検索ベース対話における文脈-応答一致を向上させることができるか？
• RQ2 発話の修復や一貫性の識別といった補助タスクは、より良い応答選択にどのように寄与するか？
• RQ3 自己教師あり目的を用いたマルチタスク学習は、異なる文脈長さや対話ドメインにおいて、より良い一般化性能をもたらすか？
• RQ4 提案された自己教師あり学習スキームは、非PLMベースの応答選択モデルに対しても効果的に適用可能か？

主な発見

• 提案手法は、Ubuntu Dialog Corpusにおいて、前回の最先端モデル比でR@10@1に2.9%の絶対的向上を達成した。
• E-commerce Dialogue Corpusでは、R@10@1に4.8%の絶対的向上を達成し、多様なドメインにわたり一貫した向上を示した。
• 長文脈においても、ベースラインモデルよりも性能低下が遅く、より高い安定性を示した。
• 自己教師ありタスクの導入により、局所的最適化が改善され、応答選択のための特徴学習が向上した。
• 自己教師あり学習スキームは、PLMベースのモデルに限らず、非PLMベースのアーキテクチャに対しても有効であり、広範な適用可能性を示した。