[論文レビュー] NewsClaims: A New Benchmark for Claim Detection from News with Attribute Knowledge

Revanth Gangi Reddy, Sai Chetan+9 more|arXiv (Cornell University)|Dec 16, 2021

Topic Modeling被引用数 7

ひとこと要約

この論文は、主張者、主張対象、立場、主張範囲を含む属性に配慮した主張検出のための新しいベンチマーク、NewsClaimsを紹介する。従来の主張検出を拡張し、COVID-19関連の143件のニュース記事から889件の主張を含む豊富なアノテーションを持つ。ゼロショットおよびプロンプトベースの少データ学習手法が有望ではあるが人間の性能にまだ及ばない結果が得られ、低リソース主張検出分野における今後の研究の余地が示された。

ABSTRACT

Claim detection and verification are crucial for news understanding and have emerged as promising technologies for mitigating misinformation and disinformation in the news. However, most existing work has focused on claim sentence analysis while overlooking additional crucial attributes (e.g., the claimer and the main object associated with the claim). In this work, we present NewsClaims, a new benchmark for attribute-aware claim detection in the news domain. We extend the claim detection problem to include extraction of additional attributes related to each claim and release 889 claims annotated over 143 news articles. NewsClaims aims to benchmark claim detection systems in emerging scenarios, comprising unseen topics with little or no training data. To this end, we see that zero-shot and prompt-based baselines show promising performance on this benchmark, while still considerably behind human performance.

研究の動機と目的

• 既存の研究でしばしば無視される主張者、主張対象、立場といった重要な属性を組み込むことで、主張検出研究におけるギャップを埋めること。
• COVID-19パンデミックのような新規・急拡大中の出来事のような、低リソースかつ新規トピックの状況における主張検出システムの評価のための新しいベンチマークを構築すること。
• 構造化された属性を抽出することで、同一、矛盾、関連する主張の識別を可能にする細分化された主張比較を可能にすること。
• 事前学習された言語モデルを用いたゼロショットおよび少データ学習アプローチの主張検出における有効性を、データが少ない状況下で評価すること。
• 特にニュースメディアにおける誤情報対策の観点から、リアルタイムでの主張検出および分析が可能なシステムの開発を支援すること。

提案手法

• ベンチマークは、発生源、治療法、感染経路、予防策という4つのCOVID-19関連トピックをカバーする143件のニュース記事を用いて構築された。
• 各主張は、主張範囲、主張者、主張者の立場、主張対象、トピックという5つの属性について手動でアノテートされた。
• データセットは、未学習のトピックにおける実世界の展開を模擬するため、ゼロショットおよび少データ学習の設定で評価を可能にするように設計された。
• ゼロショットおよびプロンプトベースの少データ学習ベースラインは、事前学習された言語モデルを用いて評価され、各サブタスク（例：主張検出、立場分類、対象検出）に特化したプロンプトテンプレートが設計された。
• 主張対象とは、主張の内容として言及される実体を指し、例として「ウイルスの発生源は中国である」という主張では「発生源」が主張対象となる。
• 主張者検出タスクは、主張者が主張文とは異なる文に登場する場合に特に、文書全体の文脈理解を必要とするため、文間をまたがる推論が求められる。

実験結果

リサーチクエスチョン

• RQ1 ゼロショットおよびプロンプトベースの少データ学習手法は、低リソースのニュース環境下で、主張検出および関連属性（主張者、主張対象、立場）の抽出を効果的に行えるか？
• RQ2 属性に配慮した主張検出システムは、豊富で多次元的なアノテーションを持つベンチマーク上で、人間の性能と比べてどのように評価されるか？
• RQ3 現在のNLPモデルは、新規で未学習のトピック（例：新興パンデミック関連の主張）に対して、どれほど一般化できるか？
• RQ4 複数のソースや立場を持つ複雑なニュース記事を扱う際、現在の主張検出システムにどのような制限があるか？
• RQ5 主張属性をどのように構造化すれば、同じ対象だが逆の立場を持つ主張（例：矛盾する主張）を識別できるようになるか？

主な発見

• NewsClaimsベンチマークには、143件のニュース記事から抽出された889件の主張が含まれており、主張範囲、主張者、立場、主張対象、トピックという属性がアノテートされており、ニュース分野でこれほど詳細な属性粒度を持つデータセットは本研究が初である。
• ゼロショットおよびプロンプトベースの少データ学習アプローチは、ベンチマーク上で有望な性能を示しているが、特に主張検出およびトピック分類においては人間の性能にまだ大きく劣っている。
• 主張対象検出タスクは特に困難であり、NLIベースの設定（例：「これはウイルスの発生源を否定する」）では、対象を明示的に含む表現（例：「中国はウイルスの発生源ではない」）に比べて精度が低い。
• 主張者検出には文書レベルの推論が必要であり、特に主張者が主張文とは異なる文に登場する場合、文間の帰属推論モデルの開発が不可欠であることが示された。
• ベンチマークは、複数のソースから類似した主張が存在する場合、システムが主張を誤って帰属させる傾向があることを明らかにした。これは、文脈に配慮した主張の局所化技術の向上が求められることを示唆している。
• ゼロショット手法の結果は有望ではあるが、モデルと人間のアノテーターとの性能差は依然として大きく、属性に配慮した主張検出分野におけるさらなる改善の余地が広く残っている。