[論文レビュー] Break, Perturb, Build: Automatic Perturbation of Reasoning Paths Through Question Decomposition

Mor Geva, Tomer Wolfson+1 more|arXiv (Cornell University)|Jul 29, 2021

Topic Modeling被引用数 5

ひとこと要約

本稿では、読解における質問・回答ペアの高品質で推論中心の変種を自動生成するための、Break, Perturb, Build (BPB) フレームワークを紹介する。QDMR推論パスに質問を分解し、記号的変種を適用し、再構築することで、人為的ラベルなしで数千もの多様で意味的に豊かな評価例を生成する。これにより、モデルの弱みが露呈され、耐性が向上する。

ABSTRACT

Recent efforts to create challenge benchmarks that test the abilities of natural language understanding models have largely depended on human annotations. In this work, we introduce the "Break, Perturb, Build" (BPB) framework for automatic reasoning-oriented perturbation of question-answer pairs. BPB represents a question by decomposing it into the reasoning steps that are required to answer it, symbolically perturbs the decomposition, and then generates new question-answer pairs. We demonstrate the effectiveness of BPB by creating evaluation sets for three reading comprehension (RC) benchmarks, generating thousands of high-quality examples without human intervention. We evaluate a range of RC models on our evaluation sets, which reveals large performance gaps on generated examples compared to the original data. Moreover, symbolic perturbations enable fine-grained analysis of the strengths and limitations of models. Last, augmenting the training data with examples generated by BPB helps close the performance gaps, without any drop on the original data distribution.

研究の動機と目的

• 表面的変種を超えたモデルの推論耐性をテストするスケーラブルで高品質な評価セットの不足に対処する。
• 高コストで多様性に欠ける人為的対照セットの限界を克服する。
• 人為的ラベルなしで意味的に意味のある、推論レベルの変種を自動生成し、モデルの深い理解をテストする。
• 多様な推論タイプにわたりモデルの弱みを露呈するスケーラブルでモジュール式のパイプラインを提供する。
• BPBによって生成された例を用いたデータ拡張が、元のデータに対して性能を低下させることなく、モデルの一般化を向上させることを示す。

提案手法

• 質問を質問分解意味表現（QDMR）に解析し、自然言語操作の系列として推論ステップを表現する。
• QDMR分解に対してルールベースの記号的変種を適用し、推論パスを変更（例：比較を減算に変更）しながら文法的整合性を保持する。
• 事前学習済みの質問生成（QG）モデルを用いて、変種を加えたQDMR分解から自然言語の質問を再構築する。
• 単一ホップの読解モデルを用いて生成された質問の答えを計算する。答えが正確に得られない場合は、答えの制約（例：型、範囲）を導出する。
• クラウドソーシングによる検証で、生成例の正答率が85%以上を達成した。
• BPBによって生成された例を訓練データに統合し、分布外の推論パターンにおけるモデルの一般化能力の評価と向上を図る。

実験結果

リサーチクエスチョン

• RQ1 推論パスの自動変種化により、人為的ラベルなしで高品質で多様な評価例を生成できるか？
• RQ2 最先端の読解モデルは、元のベンチマークと比較して、BPBによって生成された対照セットでどの程度失敗するか？
• RQ3 数値的、比較的、論理的な推論変種といった異なるタイプの変種が、それぞれどのようにモデルの弱みを露呈するか？
• RQ4 BPBによって生成された例を用いたデータ拡張により、分布外の推論パターンにおける性能ギャップを埋められ、元のデータ分布における性能を損なわないか？
• RQ5 正確な答えが計算不能な場合に、答えの制約を評価の代理としてどれほど有効に使えるか？

主な発見

• BPBは3つのRCベンチマーク（DROP、HotpotQA、IIRC）で、元の例の63.5%～70.2%を生成し、クラウドワーカーによる検証で正答率が85%以上を確認した。
• UnifiedQA や TASE といったリーディングモデルは、BPBによって生成されたセットで顕著な性能低下を示し、F1スコアが13～36ポイント低下し、一貫性は40未満にまで低下した。
• UnifiedQA は数値計算を要する質問では完全に失敗し、特に「≥」と「≤」のような制約において、小さい数を予測するバイアスを示した。
• TASE はDROPで中間推論ステップに苦戦したが、YES/NO質問が少ないデータセットで微調整した後、UnifiedQA は制約満たし率が低くなった。
• BPBによって生成された例を用いたデータ拡張により、分布外の推論パターンにおける性能ギャップが縮小したが、元のデータ分布における性能は低下しなかった。
• HotpotQA および IIRC で UnifiedQA を微調整した結果、制約満たし率はそれぞれ 94.7% から 76.3%、65.4% から 38.9% に低下し、ドメインシフトが制約予測に悪影響を及ぼすことが示された。