[論文レビュー] SciFact-Open: Towards open-domain scientific claim verification

David Wadden, Kyle Lo+5 more|arXiv (Cornell University)|Oct 25, 2022

Topic Modeling被引用数 4

ひとこと要約

本稿では、50万件の研究要約に対して検証された279件の科学的主張を含む、オープンドメインの科学的主張検証のための新しいテストコレクションであるSciFact-Openを紹介する。4つの最先端モデルの予測を統合することで、現実世界の設定における汎化性能の評価が可能となり、既存のモデルが少なくとも15 F1ポイントの性能低下を示すことが明らかになった。これは、耐性と汎化性能における深刻なギャップを示唆している。

ABSTRACT

While research on scientific claim verification has led to the development of powerful systems that appear to approach human performance, these approaches have yet to be tested in a realistic setting against large corpora of scientific literature. Moving to this open-domain evaluation setting, however, poses unique challenges; in particular, it is infeasible to exhaustively annotate all evidence documents. In this work, we present SciFact-Open, a new test collection designed to evaluate the performance of scientific claim verification systems on a corpus of 500K research abstracts. Drawing upon pooling techniques from information retrieval, we collect evidence for scientific claims by pooling and annotating the top predictions of four state-of-the-art scientific claim verification models. We find that systems developed on smaller corpora struggle to generalize to SciFact-Open, exhibiting performance drops of at least 15 F1. In addition, analysis of the evidence in SciFact-Open reveals interesting phenomena likely to appear when claim verification systems are deployed in practice, e.g., cases where the evidence supports only a special case of the claim. Our dataset is available at https://github.com/dwadden/scifact-open.

研究の動機と目的

• 大規模な科学文献を用いた現実的でオープンドメインの科学的主張検証システムの評価を目的とする。
• 大規模コーパスにおける徹底的な証拠アノテーションが現実的でないことを踏まえ、情報検索分野のプーリング技術を応用して課題を解決することを目的とする。
• 現実世界の現象（例：矛盾する証拠や不一致の証拠）を同定・特徴づけ、現在の主張検証システムが直面する課題を明らかにすることを目的とする。
• 小規模で選別されたデータセットにとどまらないスケーリングを考慮した際の既存モデルの限界を明らかにするベンチマークを提供することを目的とする。
• 将来的な研究を支援するため、モデルの汎化性能、主張の修正、証拠要約の分野における研究を促進することを目的とする。

提案手法

• 各主張について、4つの最先端の科学的主張検証モデルが出力した上位-k件の信頼度の高い予測を統合してテストコレクションを構築する。
• 1つの検索システムを用いて、50万文の科学的研究要約コーパスから候補となる要約を特定する。
• TREC風のプーリング戦略を適用し、証拠候補を選定することで、アノテーション負荷を軽減しながらカバレッジを維持する。
• 人間のアノテーターを用いて、主張/要約ペア（CAPs）に対して「支持」「反証」「情報不足（NEI）」のラベルをアノテートする。
• 効率性を考慮し、根拠アノテーションを除外して、要約レベルのラベルに対するF1スコアでモデル性能を評価する。
• プーリングの深さとシステム数の感度分析を実施し、テストコレクションの堅牢性を検証する。

実験結果

リサーチクエスチョン

• RQ1 最先端の主張検証モデルは、50万件の科学的要約からなる大規模なオープンドメインコーパス上で、どの程度の性能を示すのか？
• RQ2 オープンドメインの設定で主張を検証する際、矛盾する証拠や不一致の証拠といった現実世界の現象はどのように顕在化するのか？
• RQ3 SciFactのような小規模で選別されたデータセットで学習されたモデルは、より広範な科学文献へどの程度汎化できるのか？
• RQ4 証拠収集に用いるモデル数とプーリングの深さは、テストコレクションの性能にどの程度影響を及えるのか？
• RQ5 小規模なベンチマークでは顕在しなかったが、このデータセットではモデル間の有意義な性能差が明らかになるか？

主な発見

• 元のSciFactデータセットで学習された最先端モデルは、SciFact-Openで評価された際、少なくとも15 F1ポイントの性能低下を示し、オープンドメイン設定への汎化性能が著しく低いことが明らかになった。
• このデータセットは、複数の要約が主張の異なる側面を支持または反証するなど、顕著な現実世界の現象を明らかにした。
• SciFact-Openにおける証拠は、主張の specificity と一致しないことが多く、主張の特殊ケースにのみ関連する証拠が存在するケースが多かった。
• プーリング戦略は効果的に関連する証拠を捉えており、アブレーションスタディにより、1つの検索システムが大多数の関連要約を回収できていることが確認された。
• このデータセットには、証拠数に著しい不均衡が存在し、一部の主張は他の主張よりもはるかに多く研究されていることが示唆された。これは、モデル評価に影響を及える可能性がある。
• 著者らは、証拠から導かれた91件の主張の修正を公開しており、今後の研究における細分化された主張の修正や、ユーザーの解釈可能性の向上に貢献する。