[論文レビュー] Think you have Solved Direct-Answer Question Answering? Try ARC-DA, the Direct-Answer AI2 Reasoning Challenge

Sumithra Bhakthavatsalam, Daniel Khashabi+7 more|arXiv (Cornell University)|Feb 5, 2021

Topic Modeling被引用数 9

ひとこと要約

この論文では、ARC（AI2 Reasoning Challenge）データセットの直接的回答（自由記述）バージョンであるARC-DAを紹介する。専門家が作成した複数選択式の科学的質問を、クラウドソーシングと専門家レビューを用いて自由記述形式に変換した。強力なベースライン性能（GENIE 81%、ROUGE-L 63.2%）を示すが、依然として向上の余地が大きく、ARC-DAは自然な非複数選択形式における推論ベースの質問応答の挑戦的なベンチマークとして確立された。

ABSTRACT

We present the ARC-DA dataset, a direct-answer ("open response", "freeform") version of the ARC (AI2 Reasoning Challenge) multiple-choice dataset. While ARC has been influential in the community, its multiple-choice format is unrepresentative of real-world questions, and multiple choice formats can be particularly susceptible to artifacts. The ARC-DA dataset addresses these concerns by converting questions to direct-answer format using a combination of crowdsourcing and expert review. The resulting dataset contains 2985 questions with a total of 8436 valid answers (questions typically have more than one valid answer). ARC-DA is one of the first DA datasets of natural questions that often require reasoning, and where appropriate question decompositions are not evident from the questions themselves. We describe the conversion approach taken, appropriate evaluation metrics, and several strong models. Although high, the best scores (81% GENIE, 61.4% F1, 63.2% ROUGE-L) still leave considerable room for improvement. In addition, the dataset provides a natural setting for new research on explanation, as many questions require reasoning to construct answers. We hope the dataset spurs further advances in complex question-answering by the community. ARC-DA is available at https://allenai.org/data/arc-da

研究の動機と目的

• 複数選択式の質問応答データセットの限界（不自然さとショートカット学習のリスク）を解消するため、ARCデータセットの直接的回答（自由記述）形式を生成すること。
• 反復的で偏りの多いクラウドソーシングデータセットに見られる問題を避けるために、専門家が構築した高品質な自然科学分野の推論を要する質問データセットを提供すること。
• 回答がテキストの一部に限定されない複雑なオープンエンドの質問応答の研究を可能にし、推論と説明を支援すること。
• 元のARCデータセットの推論の複雑さを保ちつつ、現実世界の質問応答シナリオを反映するベンチマークを確立すること。
• 最先端モデルの直接的回答QAにおける性能を評価し、自動評価指標と人間による評価の信頼性を検証すること。

提案手法

• 2,985個の複数選択式質問を、クラウドソーシングと専門家レビューを組み合わせたハイブリッドアプローチにより、直接的回答形式に変換し、回答の妥当性と多様性を確保した。
• 1つの質問に対して複数の妥当な回答（合計8,436件）を収集し、表現の自然なばらつきを反映させ、評価の信頼性を高めた。
• GENIE（自動クラウドスコアリングパイプライン）を用いた人間による評価を通じて、回答品質の信頼性ある判断を得た。さらに、補正のための専門家スコアリングも実施した。
• F1やROUGE-Lといった自動評価指標を用いてモデル出力を評価したが、人間の判断との比較においてその限界を認識した。
• T5ベースの強力なモデル（例：UnifiedQA）をARC-DAデータセットで微調整し、自動評価と人間アノテーションスコアの両方で評価した。
• 元のARC複数選択式データセットに同じモデルを適用することでアブレーションスタディを実施し、フォーマット間での性能向上が確認された。

実験結果

リサーチクエスチョン

• RQ1 回答選択肢がない状況でも、高品質で推論を要するデータセット（ARC-DA）に対して、直接的回答QAモデルは高い性能を達成できるか？
• RQ2 自動評価指標（F1、ROUGE-L）は、人間がアノテートしたスコアと比較して、直接的回答QAの性能をどの程度正確に評価できるか？
• RQ3 直接的回答データで学習させることで、複数選択式QAの性能がどの程度向上するか。逆に、複数選択式データで学習させることで直接的回答QAの性能が向上するか？
• RQ4 オープンエンドで推論を要するQAにおいて、モデルの性能と人間アノテートのゴールスコアとのギャップはどの程度か？
• RQ5 ARC-DAに含まれる妥当な回答の多様性が、モデルの一般化性能と評価の信頼性にどのように影響するか？

主な発見

• 最高のモデルはGENIEによる人間評価で81%のスコアを達成し、高いが完璧ではない性能を示し、依然として大幅な改善の余地があることを示した。
• 最高のモデルはF1で61.4%、ROUGE-Lで63.2%を記録し、自動評価指標と人間の判断との間に顕著なギャップがあることを示した。
• 人間アノテートスコア（GENIEおよびEXPERT）は自動評価指標を上回っており、現在の自動指標がモデル性能を低く評価しており、有効な回答のバリエーションを捉え損なっている可能性があることを示した。
• GENIEスコアは専門家アノテーションスコアよりもわずかに低く、人間評価がより信頼性が高く、GENIEのパイプラインにノイズやアノテーションエラーが存在する可能性があることを示唆した。
• ARC-DAで学習させたことで、元のARC複数選択式データセットにおける性能が向上し、UnifiedQAモデルはARC-Challengeで81.4%、ARC-Easyで92.7%を達成した。これはフォーマット間での学習の恩恵があることを示した。
• 結果から、直接的回答QAは推論ベースの質問応答にとって実用的でより自然な設定であり、ARC-DAは今後のNLP研究における意味のある挑戦であることが確認された。