[論文レビュー] Transformers to Learn Hierarchical Contexts in Multiparty Dialogue for Span-based Question Answering

Changmao Li, Jinho D. Choi|arXiv (Cornell University)|Apr 7, 2020

Topic Modeling参考文献 10被引用数 6

ひとこと要約

本論文は、マルチパーティ会話におけるスパンベースの質問応答のための階層的トランスフォーマー表現を用いたマルチタスクファインチューニング手法を提案し、会話の文脈理解を向上させるために発話レベルのマスク言語モデル化と発話順序予測を導入している。この手法はFriendsQAでSOTAを達成し、BERTとRoBERTaよりそれぞれ3.8%および1.4%高い正確一致スコアを達成した。

ABSTRACT

We introduce a novel approach to transformers that learns hierarchical representations in multiparty dialogue. First, three language modeling tasks are used to pre-train the transformers, token- and utterance-level language modeling and utterance order prediction, that learn both token and utterance embeddings for better understanding in dialogue contexts. Then, multi-task learning between the utterance prediction and the token span prediction is applied to fine-tune for span-based question answering (QA). Our approach is evaluated on the FriendsQA dataset and shows improvements of 3.8% and 1.4% over the two state-of-the-art transformer models, BERT and RoBERTa, respectively.

研究の動機と目的

• 会話の多様性と複数発話者に起因する課題により、従来のトランスフォーマー・モデルがスパンベースの質問応答において性能を発揮できない問題に対処すること。
• トークンレベルと発話レベルの両方で階層的表現を学ぶことで、会話理解を向上させること。
• スパン予測と発話ID予測を共同でファインチューニングすることにより、会話文脈におけるモデルの一般化能力と推論能力を強化すること。
• スパンベースQAベンチマーク上で、会話固有の事前学習目的（発話レベルのマスク言語モデル化と発話順序予測）の有効性を評価すること。
• 特にエンティティ解決と発話間推論を含む複雑な質問における失敗モードと誤りタイプを分析すること。

提案手法

• トークンレベルのマスク言語モデル化（t-MLM）、発話レベルのマスク言語モデル化（u-MLM）、発話順序予測（UOP）の3つのタスクを用いたトランスフォーマー・モデルの事前学習。
• t-MLMを用いて、発話境界と発話者を保持したまま、全会話シーケンス全体における文脈的トークン表現を学習すること。
• u-MLMを用いて、発話を全体としてマスクし、文脈から予測することで、発話レベルの意味的理解を向上させる。
• UOPを用いて、シャッフルされた発話を正しい順序で予測することで、会話の順序的構造を学習し、時間的・話法的整合性のモデリングを強化すること。
• スパン予測（回答抽出用）と発話ID予測（会話構造認識用）を共同で最適化するマルチタスク学習によるモデルファインチューニング。
• 推論時に階層的推論を可能にするために、トークン埋め込みと発話埋め込みの両方に対して別々のマルチヘッドアテンション機構を採用すること。

実験結果

リサーチクエスチョン

• RQ1 発話レベルのマスク言語モデル化と発話順序予測は、会話文脈における発話レベル表現の質を向上させるか？
• RQ2 スパン予測と発話ID予測を共同でファインチューニングすることで、マルチパーティ会話におけるスパンベースQAの性能が向上するか？
• RQ3 FriendsQAデータセットにおける下流QA性能の観点から、会話固有の事前学習目的は標準的な事前学習と比べてどのように差がつくか？
• RQ4 スパンベースQAにおける主な誤りタイプは何か？また、「誰が」「どうして」などの質問タイプとどのように関係しているか？
• RQ5 階層的表現は、エンティティ解決と発話間推論タスクにおける誤りをどの程度低減するか？

主な発見

• 提案手法はFriendsQAデータセットで53.5%の正確一致（EM）を達成し、BERTより3.8%、RoBERTaより1.4%の絶対的向上を示した。
• 発話レベルのマスク言語モデル化と発話順序予測を組み合わせ、スパン予測と発話ID予測の共同ファインチューニングを実施した場合が最良の性能を示し、BERTより3.8%、RoBERTaより1.4%の向上を達成した。
• アブレーションスタディの結果、u-MLMとUOPは個別ではわずかな向上を示すが、発話ID予測と組み合わせることで顕著な性能向上が見られ、事前学習とファインチューニングの間で相乗効果があることが示された。
• 誤り分析の結果、エンティティ解決と発話間推論が「誰が」および「どうして」質問において最も頻度の高い誤りタイプであり、それぞれ34%および25%の誤りを占めていることが判明した。
• 発話間推論を必要とする複雑な質問において、特にモデルの性能が向上し、全事前学習とマルチタスクファインチューニングを適用した場合、BERTとRoBERTaよりそれぞれ2%および1%のEM向上を示した。
• 結果から、会話QAの性能向上には会話固有の事前学習目的が不可欠であり、特に構造的なマルチタスクファインチューニングと組み合わせることで顕著な効果が得られると示された。