[論文レビュー] Domain Adaptation for Question Answering via Question Classification

Zhenrui Yue, Huimin Zeng+3 more|arXiv (Cornell University)|Sep 12, 2022

Topic Modeling被引用数 5

ひとこと要約

本稿では、質問分類を活用してドメイン間およびクラス内乖離を低減することにより、教師なしドメイン適応フレームワークであるQC4QAを提案する。疑似ラベル付きのターゲット質問を用いてソースおよびターゲットデータを共同で学習し、MMDを用いてドメインシフトを最小化することで、ラベルなしターゲットデータを必要とせずに複数のデータセットで最先端の性能を達成する。

ABSTRACT

Question answering (QA) has demonstrated impressive progress in answering questions from customized domains. Nevertheless, domain adaptation remains one of the most elusive challenges for QA systems, especially when QA systems are trained in a source domain but deployed in a different target domain. In this work, we investigate the potential benefits of question classification for QA domain adaptation. We propose a novel framework: Question Classification for Question Answering (QC4QA). Specifically, a question classifier is adopted to assign question classes to both the source and target data. Then, we perform joint training in a self-supervised fashion via pseudo-labeling. For optimization, inter-domain discrepancy between the source and target domain is reduced via maximum mean discrepancy (MMD) distance. We additionally minimize intra-class discrepancy among QA samples of the same question class for fine-grained adaptation performance. To the best of our knowledge, this is the first work in QA domain adaptation to leverage question classification with self-supervised adaptation. We demonstrate the effectiveness of the proposed QC4QA with consistent improvements against the state-of-the-art baselines on multiple datasets.

研究の動機と目的

• 未学習のターゲットドメインにモデルを展開する際のドメインシフトを解消すること。
• 質問構文および文脈ドメインにおける分布シフトが引き起こす性能低下を低減すること。
• ラベルなしターゲットデータを必要とせずに質問クラス情報を利用した自己教師付き適応フレームワークを開発すること。
• QA表現におけるドメイン間およびクラス内乖離を最小化することで一般化性能を向上させること。
• ゼロショットドメイン適応設定において、質問分類と自己教師付き適応を組み合わせた有効性を実証すること。

提案手法

• ソースデータ上で質問分類器を学習し、ソースおよびターゲットの両方の質問に質問クラスを割り当てる。
• 事前学習済みQAモデルを用いて未ラベルのターゲット質問を疑似ラベル付けし、学習信号を生成する。
• ターゲット質問の分布を反映するミニバッチを構築するための分布に配慮したサンプリング戦略を採用し、乖離推定を改善する。
• 最大平均乖離（MMD）を用いてドメイン整合性を最適化することで、ドメイン間乖離を最小化する。
• 同じ質問クラスに属するサンプル間のクラス内乖離を最小化し、細分化された適応を可能にする。
• 全体の目的関数は、MMDに基づくドメイン整合性とクラス内一貫性正則化を組み合わせることで、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしターゲットデータを必要とせずに、質問分類はQAにおけるドメイン適応を改善できるか？
• RQ2 質問クラス情報の統合は、QAモデルにおけるドメイン間およびクラス内乖離の低減にどのように寄与するか？
• RQ3 リソースが限られたターゲットドメインにおける適応性能に、分布に配慮したサンプリング戦略が及ぼす影響は何か？
• RQ4 MMDの重み係数や疑似ラベル付けにおける信頼度閾値といったハイパーパrameterの選択に対して、提案フレームワークのロバストネスはいかがなっているか？
• RQ5 質問分類を活用した自己教師付き適応は、従来のドメインアドバーシャルおよび疑似ラベル付けベースの手法を、ゼロショットQAドメイン適応設定で上回ることができるか？

主な発見

• QC4QAは、CNN、Daily Mail、NewsQAなど複数のデータセットで、最先端のベースラインを一貫して上回り、EMおよびF1スコアで顕著な向上を示す。
• CNNでは、分布に配慮したサンプリングを用いることで28.05のEMおよび36.18のF1を達成したのに対し、ランダムサンプリングでは26.69のEMおよび35.24のF1にとどまり、サンプリング戦略の重要性を示している。
• 疑似ラベル付けの最適な信頼度閾値は0.4〜0.8の間であり、SearchQAのような大規模データセットでは、ノイズの多い予測をフィルタリングすることで高いスコアが得られる。
• MMDハイパーパrameter λ は単調でないが、0.01〜0.02の周辺でピーク性能を示し、やや敏感ではあるが中程度の変動に対してはロバストであることが示された。
• 質問分類に無教師クラスタリングを用いてもQC4QAは優れた性能を発揮し、追加のアノテーションがなくても有効であることを証明している。
• 特に、CNN や Daily Mail のような質問フォーマットが異なるターゲットデータセットでは、ドメインシフトが顕著であるが、本フレームワークはそのような状況でも特に効果を発揮する。