[論文レビュー] Studying Strategically: Learning to Mask for Closed-book QA

Qinyuan Ye, Belinda Z. Li+6 more|arXiv (Cornell University)|Dec 31, 2020

Topic Modeling参考文献 28被引用数 11

ひとこと要約

この論文では、閉形式質問応答のためのより良いパフォーマンスを実現するために、事前学習テキスト内のタスク関連スパンを特定する学習されたマスキング方策を提案する。下流のQAの監視信号を用いて、正解スパンを予測する方策を訓練し、中間的事前学習段階でそれを適用することで、BARTモデルにより関連性の高い知識を統合する。その結果、TriviaQAで24.71%の正確一致（EM）を達成し、ヒューリスティックな顕著スパンマスキング（23.62%）やランダムマスキング（22.93%）を上回った。

ABSTRACT

Closed-book question-answering (QA) is a challenging task that requires a model to directly answer questions without access to external knowledge. It has been shown that directly fine-tuning pre-trained language models with (question, answer) examples yields surprisingly competitive performance, which is further improved upon through adding an intermediate pre-training stage between general pre-training and fine-tuning. Prior work used a heuristic during this intermediate stage, whereby named entities and dates are masked, and the model is trained to recover these tokens. In this paper, we aim to learn the optimal masking strategy for the intermediate pre-training stage. We first train our masking policy to extract spans that are likely to be tested, using supervision from the downstream task itself, then deploy the learned policy during intermediate pre-training. Thus, our policy packs task-relevant knowledge into the parameters of a language model. Our approach is particularly effective on TriviaQA, outperforming strong heuristics when used to pre-train BART.

研究の動機と目的

• 中間的事前学習中に、タスク関連スパンを戦略的にマスキングすることで、閉形式質問応答を改善すること。
• 下流QAタスクからの監視信号に基づいて、テストされやすいスパンを特定するマスキング方策を学習すること。
• 名前付きエンティティや日付などのヒューリスティックマスキング（例：名前付きエンティティや日付）を越えて、データ駆動型でタスクに適応したマスキング戦略へと移行すること。
• 1つのQAデータセットで学習した方策が、他のQAデータセットでのパフォーマンス向上にどのように転送可能かを評価すること。
• テスト可能コンテンツに関するメタ知識が、知的なマスキングを通じて言語モデルのパラメータにどのようにエンコードされるかを調査すること。

提案手法

• QAデータセットからの（文脈、質問、答え）の三つ組みを用いて、方策を訓練し、正解スパンの開始位置と終了位置を予測する。
• 正解スパンを回復する可能性を最大化するように、方策を訓練し、交差エントロピー損失を用いる。
• 一般コーパス（例：Wikipedia）での中間的事前学習中に、方策を適用し、タスク関連スパンを動的にマスキングする。
• このタスクに適応した事前学習段階の後、マスク言語モデル（BART）を下流の閉形式QAタスクでファインチューニングする。
• 言語モデルとともに、下流QAタスクからの監視信号を用いて、スパン選択をガイドするように、方策をエンドツーエンドで訓練する。
• このアプローチは、質問生成に類似したギャップ選択タスクとしてマスキングを扱い、モデルがテストされやすいコンテンツを学習する。

実験結果

リサーチクエスチョン

• RQ1 テストされやすいスパンを特定する学習されたマスキング方策は、ヒューリスティックマスキングと比較して、閉形式QAパフォーマンスを向上させるか？
• RQ2 1つのQAデータセットで学習した方策を用いた事前学習は、他のQAデータセットでのパフォーマンス向上に寄与するか？
• RQ3 中間的事前学習における、学習されたマスキング方策のパフォーマンスは、ランダムマスキングやヒューリスティックマスキング戦略と比較してどうか？
• RQ4 学習されたマスキング方策が捉えるメタ知識の種類は何か？また、それは学生の試験勉強行動とどのように関連するか？
• RQ5 マスキング方策を用いて、タスク関連の知識を効果的に言語モデルのパラメータに「パッケージング」できるか？

主な発見

• 学習されたマスキング方策は、TriviaQAの開発セットで24.71%の正確一致（EM）を達成し、顕著スパンマスキング（23.62%）やランダムマスキング（22.93%）を上回った。
• BART-largeで最良の方策を展開した場合でも、性能向上が一貫しており、ベースモデルを超えたスケーラビリティが示された。
• 方策は正の転送性を示した：TriviaQAで学習したモデルは、他のQAデータセットでのパフォーマンスを向上させた。これは、スパン選択における共通のメタ知識があることを示唆している。
• 方策は文脈のパassage内で重要な事実スパン（例：機関や日付）を効果的にマスキングしており、人間のテスト可能コンテンツの期待と整合的である。
• 独立した開始／終了位置の予測による制限があり、複数の異なるエンティティが1つのスパンに結合されるなど、誤ったスパン境界が生じる場合がある。
• 結果から、中間的事前学習段階での戦略的マスキングは、モデルスケーリングよりもより大きな影響を及ぼす可能性があることが示唆された。顕著スパンマスキングは、T5を3Bから11Bパラメータにスケーリングするのと比較して、パフォーマンス向上に寄与した。