[論文レビュー] Task-specific Objectives of Pre-trained Language Models for Dialogue Adaptation

Junlong Li, Zhuosheng Zhang+3 more|arXiv (Cornell University)|Sep 10, 2020

Topic Modeling参考文献 45被引用数 20

ひとこと要約

本稿では、会話中心の言語モデル向けに特化した事前学習手法である対話適応的事前学習目的（DAPO）を提案する。対話品質指標を目的関数として用いてドメイン内対話コーパス上で事前学習することで、DAPOは会話固有の特徴の理解を向上させ、一般言語モデルの事前学習や強力なベースラインと比較して、下流の対話NLPタスクで顕著な向上をもたらす。

ABSTRACT

Pre-trained Language Models (PrLMs) have been widely used as backbones in lots of Natural Language Processing (NLP) tasks. The common process of utilizing PrLMs is first pre-training on large-scale general corpora with task-independent LM training objectives, then fine-tuning on task datasets with task-specific training objectives. Pre-training in a task-independent way enables the models to learn language representations, which is universal to some extent, but fails to capture crucial task-specific features in the meantime. This will lead to an incompatibility between pre-training and fine-tuning. To address this issue, we introduce task-specific pre-training on in-domain task-related corpora with task-specific objectives. This procedure is placed between the original two stages to enhance the model understanding capacity of specific tasks. In this work, we focus on Dialogue-related Natural Language Processing (DrNLP) tasks and design a Dialogue-Adaptive Pre-training Objective (DAPO) based on some important qualities for assessing dialogues which are usually ignored by general LM pre-training objectives. PrLMs with DAPO on a large in-domain dialogue corpus are then fine-tuned for downstream DrNLP tasks. Experimental results show that models with DAPO surpass those with general LM pre-training objectives and other strong baselines on downstream DrNLP tasks.

研究の動機と目的

• 一般事前学習目的と対話固有のNLPタスクとの不適合性を解消すること。
• 標準的な言語モデル学習で無視されがちなタスク特化型の言語的特徴を組み込むことで、対話理解を向上させること。
• 対話固有の表現に適応するように狙いを定めた事前学習により、下流の対話関連NLPタスクにおけるモデル性能を向上させること。
• ドメイン内でタスク特化型の事前学習を実施し、対話に配慮した目的関数を用いることで、標準的学習に比べてより良い一般化が達成されることを示すこと。

提案手法

• 一貫性、一貫性、関連性などの主要な対話品質指標に基づいて、対話適応的事前学習目的（DAPO）を設計する。
• 標準的なマスク言語モデルとは異なり、DAPOを用いてドメイン内対話コーパス上で大規模な事前学習言語モデルを事前学習する。
• 標準的な事前学習と微調整の間の段階にDAPOを統合し、モデルを対話固有の表現に適応させる。
• 一般事前学習が見逃す可能性のあるタスク特化型の言語的パターンを、ドメイン内対話データを用いて捉える。
• 応答選択、対話状態追跡、対話生成などの下流の対話NLPタスクで、DAPOを拡張したモデルを微調整する。
• 既存のPrLMアーキテクチャ（例：BERT風）を活用し、目的関数を対話固有の品質信号を優先するように変更する。

実験結果

リサーチクエスチョン

• RQ1 タスク特化型の事前学習目的は、一般言語モデル学習目的と比較して対話モデルの性能を向上させることができるか？
• RQ2 対話固有の品質指標は、対話NLPタスクの事前学習効果にどのように影響するか？
• RQ3 DAPOを用いてドメイン内対話コーパス上で事前学習を実施した場合、標準的学習に比べて下流タスクの性能が向上するか？
• RQ4 DAPOは、対話モデリングにおける事前学習と微調整の不一致をどの程度軽減するか？

主な発見

• DAPOで事前学習されたモデルは、すべての下流対話NLPタスクで、標準的な言語モデル学習で事前学習されたモデルを上回る性能を示した。
• DAPOを拡張したモデルは、ベンチマーク対話データセットにおいて、強力なベースラインと比較してSOTAまたは競争力のある結果を達成した。
• 特に、対話の一貫性と文脈理解を要するタスクで顕著な向上が見られた。
• アブレーションスタディの結果、DAPOに組み込まれた対話固有の目的関数が、単なるデータ量やモデルサイズの増加ではなく、性能向上に顕著な寄与をしていることが確認された。