[論文レビュー] Semantic-based Pre-training for Dialogue Understanding

Xuefeng Bai, Linfeng Song+1 more|arXiv (Cornell University)|Sep 19, 2022

Topic Modeling被引用数 4

ひとこと要約

本稿では、事前学習フレームワークSARAを提案する。SARAは、対話理解の性能を向上させるために、抽象的意味表現（AMR）グラフを事前学習に統合する。3つのAMRガイドドタスク（意味的マスク言語モデリング、意味的関係予測、意味的整合性）を導入することで、会話理解の性能が向上し、外部のパーサーを必要とせずに、チャット会話およびタスク指向型会話のベンチマークで最先端の結果を達成した。

ABSTRACT

Pre-trained language models have made great progress on dialogue tasks. However, these models are typically trained on surface dialogue text, thus are proven to be weak in understanding the main semantic meaning of a dialogue context. We investigate Abstract Meaning Representation (AMR) as explicit semantic knowledge for pre-training models to capture the core semantic information in dialogues during pre-training. In particular, we propose a semantic-based pre-training framework that extends the standard pre-training framework (Devlin et al., 2019) by three tasks for learning 1) core semantic units, 2) semantic relations and 3) the overall semantic representation according to AMR graphs. Experiments on the understanding of both chit-chats and task-oriented dialogues show the superiority of our model. To our knowledge, we are the first to leverage a deep semantic representation for dialogue pre-training.

研究の動機と目的

• 現在の事前学習対話モデルが表面的なテキストを超えた深い意味的意味を捉える能力に制限を受ける問題に対処すること。
• AMRのような明示的な意味構造が、事前学習中の対話表現学習を改善できるかどうかを検討すること。
• 意味知識を事前学習段階に直接統合することで、下流アプリケーションにおける外部パーサーへの依存を軽減すること。
• より豊かな意味的監視を用いて、タスク指向型およびオープンドメイン対話理解タスクの性能を向上させること。
• AMRにおける細分化された意味的関係が、モデルの一般化および耐性に有意義に寄与することを示すこと。

提案手法

• 標準的な事前学習を拡張し、3つのAMRベースのタスクを導入する：(1) 核となる意味的単位に注目する意味的マスク言語モデリング、(2) 単語間の意味的関係予測、(3) 対話テキストとそのAMRグラフ間の意味的整合性。
• AMRグラフを明示的な監視信号として用い、モデルが事前学習段階でコアな意味的単位とその関係を学習するのをガイドする。
• バックボーンモデルとしてBERTとRoBERTaを採用し、大規模な対話データ上でSARAフレームワークで微調整する。
• 詳細な意味的構造の寄与を評価するため、細分化された関係をマスキングすることで簡略化されたAMRバージョンを導入する。
• 対話テキストの文脈的表現と対応するAMRグラフを一致させるための統合的事前学習目的を設計する。
• 事前学習段階で意味構造をエンドツーエンドに学習することで、推論段階での外部意味的パーサーの必要性を排除する。

実験結果

リサーチクエスチョン

• RQ1 AMRグラフからの明示的な意味的知識が、対話理解タスクにおける事前学習対話モデルの性能向上に寄与するか？
• RQ2 AMRにおける細分化された意味的関係は、簡略化された関係やフレームベースの関係と比較して、モデルの一般化にどのように寄与するか？
• RQ3 事前学習段階でAMRを統合することで、誤った特徴や悪意のある例に対する耐性が向上するか？
• RQ4 少ない学習データでも、意味に配慮した事前学習フレームワークが標準的な事前学習を上回る性能を発揮できるか？
• RQ5 推論時にのみAMRを使用するシステムと比較して、本手法は効率性と正確性の面でどのように差をつけるか？

主な発見

• SARA-RoBERTaは、DialogREで67.8 F1、DSTC8で92.02 F1を達成し、RoBERTa（65.8および90.78）および従来の意味ベースモデルを上回った。
• 細分化された関係を含む完全なAMRグラフは、簡略化されたAMRグラフよりも優れた性能を示し、詳細な意味的関係が学習を強化することを示した。
• 外部パーサーに依存するBai et al. (2021) の手法と比較して、特に長い対話において約45倍の高速化を達成した。
• 複雑な対話においても、表面的なテキストにだまされる要因があっても、関係や意図を正しく特定する能力が向上した。
• より多くの事前学習データを用いることで性能が向上し、データスケーリングによりDialogREで約2.0 F1の向上が見られた。これは、高いデータ効率性を示している。
• 事例研究により、SARAがコアな意味的単位をよりよく捉えており、感情的に強いが意味的に無関係な語句に不適切に注目するのを回避していることが確認された。