[論文レビュー] Multi-tasking Dialogue Comprehension with Discourse Parsing

Yuchen He, Zhuosheng Zhang+1 more|arXiv (Cornell University)|Oct 7, 2021

Topic Modeling参考文献 40被引用数 12

ひとこと要約

本稿では、マルチパーティ会話における機械的読解（MRC）と話法解析（DP）を統合的に実行する最初のマルチタスク学習フレームワークを提案する。話法構造を活用することで、回答抽出の性能が向上する。モデルは両タスクにおいて顕著な性能向上を示し、特に長い会話文において顕著である。これは、話法解析が意味的に関連する発話同士を距離を越えて結びつけることで理解を向上させることを示している。

ABSTRACT

Multi-party dialogue machine reading comprehension (MRC) raises an even more challenging understanding goal on dialogue with more than two involved speakers, compared with the traditional plain passage style MRC. To accurately perform the question-answering (QA) task according to such multi-party dialogue, models have to handle fundamentally different discourse relationships from common non-dialogue plain text, where discourse relations are supposed to connect two far apart utterances in a linguistics-motivated way.To further explore the role of such unusual discourse structure on the correlated QA task in terms of MRC, we propose the first multi-task model for jointly performing QA and discourse parsing (DP) on the multi-party dialogue MRC task. Our proposed model is evaluated on the latest benchmark Molweni, whose results indicate that training with complementary tasks indeed benefits not only QA task, but also DP task itself. We further find that the joint model is distinctly stronger when handling longer dialogues which again verifies the necessity of DP in the related MRC.

研究の動機と目的

• 会話構造が複雑で、非局所的関係を持つ発話が一般的なマルチパーティ会話理解の課題に対処すること。
• マルチパーティ会話における質疑応答（QA）と話法解析（DP）の相関関係を調査すること。
• QAとDPを統合的に最適化する統一されたマルチタスク学習フレームワークを開発し、両タスクの性能向上を図ること。
• 話法解析が、非隣接関係を持つ長い会話文においても回答抽出を向上させることを実証すること。
• Molweniベンチマーク上で、単一タスク学習に比べて統合学習がより優れた性能を示す実証的証拠を提供すること。

提案手法

• QAと話法解析ヘッドの間で文脈表現を共有するマルチタスク学習アーキテクチャを提案する。
• 話者役割と発話順序を含むマルチパーティ会話文をBERTベースのエンコーダーで符号化する。
• スパンレベルの回答予測を行うQAヘッドと、発話間の話法関係を分類するDPヘッドを訓練する。
• QAとDPの目的関数をバランスさせる重み付き損失関数を用いて、両タスクを同時に最適化する。
• Molweniデータセットに含まれる人手による話法関係のアノテーションを活用し、DPヘッドの教師信号とする。
• 訓練の安定化と一般化性能の向上を図るため、早期停止と学習率スケジューリングを適用する。

実験結果

リサーチクエスチョン

• RQ1 QAと話法解析の統合学習は、マルチパーティ会話MRCの性能にどのように寄与するか？
• RQ2 非隣接関係を持つ長い会話文において、話法解析は回答抽出をどの程度向上させるか？
• RQ3 どの話法関係タイプがQA性能の向上に最も寄与しているか？
• RQ4 マルチタスクモデルは、さまざまな質問タイプを処理する際、単一タスクQAモデルと比べてどのように異なるか？
• RQ5 隣接する発話が誤解を招く場合、話法構造は回答抽出の曖昧さをどのように解消できるか？

主な発見

• マルチタスクモデルは、マルチパーティ会話MRCのMolweniベンチマークで最先端の性能を達成した。
• 統合学習によりQAと話法解析の両方の性能が向上し、両タスク間に強い正の相関関係があることが確認された。
• 長文の会話文において顕著な性能向上が見られ、話法解析により遠く離れた関連発話を結びつけることができた。
• 統合モデルが成功したが単一QAモデルが失敗した99件のうち58件は、話法解析のおかげで正しくQAP（質問-回答ペア）を検出できたためのものであった。
• QAP（質問-回答ペア）話法関係がQA性能向上に最も寄与しており、確認質問は影響が小さい。
• 誰（who）や何（what）を尋ねる質問に対しては良好な性能を示したが、どのように（how）を尋ねる質問では、構文的・意味的多様性のため苦戦した。