[論文レビュー] The Alignment Bottleneck in Decomposition-Based Claim Verification

Mahmud Elahi Akhter, Federico Ruggeri+3 more|arXiv (Cornell University)|Feb 11, 2026

Explainable Artificial Intelligence (XAI)被引用数 0

ひとこと要約

論文は、分解ベースの主張検証は、サブ主張が細分サブ主張の証拠と整合し、信号が信頼できる場合にのみ有効であり、そうでない場合はノイズのあるラベルを特に含むと性能が低下する可能性があることを示している。現実世界データセットを導入し、時系列証拠を用いて証拠の整合性と誤 propagation を分析する。

ABSTRACT

Structured claim decomposition is often proposed as a solution for verifying complex, multi-faceted claims, yet empirical results have been inconsistent. We argue that these inconsistencies stem from two overlooked bottlenecks: evidence alignment and sub-claim error profiles. To better understand these factors, we introduce a new dataset of real-world complex claims, featuring temporally bounded evidence and human-annotated sub-claim evidence spans. We evaluate decomposition under two evidence alignment setups: Sub-claim Aligned Evidence (SAE) and Repeated Claim-level Evidence (SRE). Our results reveal that decomposition brings significant performance improvement only when evidence is granular and strictly aligned. By contrast, standard setups that rely on repeated claim-level evidence (SRE) fail to improve and often degrade performance as shown across different datasets and domains (PHEMEPlus, MMM-Fact, COVID-Fact). Furthermore, we demonstrate that in the presence of noisy sub-claim labels, the nature of the error ends up determining downstream robustness. We find that conservative "abstention" significantly reduces error propagation compared to aggressive but incorrect predictions. These findings suggest that future claim decomposition frameworks must prioritize precise evidence synthesis and calibrate the label bias of sub-claim verification models.

研究の動機と目的

• 現実世界データにおける複雑な主張検証に対するサブ主張分解の影響を調査する。
• 検証性能に対する証拠の整合性の役割を評価する（サブ主張と整合した証拠 vs 繰り返しの主張レベル証拠）。
• ノイズのあるサブ主張ラベルが主張レベル検証へどのように誤差を伝搬させるかを定量化する。
• 時系列で境界づけられた証拠と人間が注釈したサブ主張証拠範囲を含むデータセットを提供し、厳密な評価を可能にする。
• サブ主張検証での誤差伝搬とバイアスを最小化する分解フレームワーク設計の方針を示す。

提案手法

• 複雑な主張を関連する証拠と真偽ラベルを伴うサブ主張に分解する。
• 2つの証拠整合設定での主張検証を評価する：SAE（サブ主張整合証拠）とSRE（繰り返しの主張レベル証拠）。
• オラクル（ゴールド）サブ主張ラベルとノイズ（予測）サブ主張ラベルを用いて誤差伝搬を検討する。
• 主張レベル検証にはQwen3-14B、サブ主張検証のベースラインにはCHEF/BERTエンコーダを、サブ主張真偽予測にはGNNを使用する。
• PHEMEをベースとした時系列証拠と人間注釈のサブ主張範囲を含む現実世界データセットを作成・活用し、MMM-FactとCOVID-Factで一般化を検証する。

Figure 1: shows our annotation and claim verification pipeline and different setups for the study. Oracle_(SAE/SRE) setups use gold sub-claim labels, ablation models do not use any sub-claim labels and noisy setup (not shown in figure) uses predicted sub-claim labels.

実験結果

リサーチクエスチョン

• RQ1 サブ主張の証拠が整合し、ラベルが信頼できる場合、主張分解は検証を改善するか？
• RQ2 証拠整合性（SAE vs SRE）はデータセットや領域を超えて性能にどう影響するか？
• RQ3 ノイズのあるサブ主張ラベルは下流の主張検証にどのような影響を与え、どの誤りパターンが最も深刻か？
• RQ4 証拠が細粒度か粗粒度かによるサブ主張検証の誤差伝搬のダイナミクスはどうなるか？
• RQ5 現実世界および領域特有のファクトチェックデータセット間で分解の利点はどれほど一般化できるか？

主な発見

Setup	F1 Macro ± std	Balanced Accuracy ± std
Vanilla PHEMEplus	0.5643±0.0091	0.6072±0.0074
Oracle_SRE	0.5872±0.0127	0.6117±0.0136
Ablation_SRE	0.5808±0.0064	0.6259±0.0052
Oracle_SAE	0.6268±0.0098	0.6558±0.0132
Ablation_SAE	0.5485±0.0052	0.6220±0.0065
Noisy_SAE	0.5964±0.0360	0.6425±0.0595
Noisy_SRE	0.4335±0.0439	0.4411±0.0512
GNN Noisy_SAE	0.5839±0.1202	0.5963±0.1361
GNN Noisy_SRE	0.4416±0.0489	0.4399±0.0609

• サブ主張証拠がSAEでサブ主張に整合し、サブ主張シグナルが信頼できる場合、分解は性能を向上させる。
• 繰り返しの主張レベル証拠（SRE）を用いると多くの場合改善が見られず、特にMMM-FactとCOVID-Factで性能が低下する可能性がある。
• ノイズのあるサブ主張ラベルは性能を悪化させ、SREは特に脆くなる。一方でSAEは予測子バイアスに依存してより安定する場合がある。
• サブ主張ラベリングにおける保守的な拒否は、積極的だが不正確な予測に比べて誤差伝搬を抑制する。
• ノイズのあるラベル下でのGNNベースのサブ主張真偽予測は、ゼロショットLLMsには及ばず、データが限られた状況でこのタスクには大規模言語モデルの強さが示される。

Table 10: Prompt templates used in our experiments. Oracle SRE uses claims with sub-claims, sub-claim veracity and claim level evidence.