[논문 리뷰] The Alignment Bottleneck in Decomposition-Based Claim Verification

Mahmud Elahi Akhter, Federico Ruggeri외 3명|arXiv (Cornell University)|2026. 02. 11.

Explainable Artificial Intelligence (XAI)인용 수 0

한 줄 요약

이 논문은 하위 주장의 분해 기반 검증이 하위 주장과 미세 하위 주장 증거가 정렬되고 신호가 신뢰될 때에만 도움이 되며, 그렇지 않으면 특히 노이즈가 있는 라벨일 때 성능을 저하시킬 수 있음을 보여준다. 실제 세계의 데이터셋을 도입하고 증거의 정렬과 오류 전파를 분석한다.

ABSTRACT

Structured claim decomposition is often proposed as a solution for verifying complex, multi-faceted claims, yet empirical results have been inconsistent. We argue that these inconsistencies stem from two overlooked bottlenecks: evidence alignment and sub-claim error profiles. To better understand these factors, we introduce a new dataset of real-world complex claims, featuring temporally bounded evidence and human-annotated sub-claim evidence spans. We evaluate decomposition under two evidence alignment setups: Sub-claim Aligned Evidence (SAE) and Repeated Claim-level Evidence (SRE). Our results reveal that decomposition brings significant performance improvement only when evidence is granular and strictly aligned. By contrast, standard setups that rely on repeated claim-level evidence (SRE) fail to improve and often degrade performance as shown across different datasets and domains (PHEMEPlus, MMM-Fact, COVID-Fact). Furthermore, we demonstrate that in the presence of noisy sub-claim labels, the nature of the error ends up determining downstream robustness. We find that conservative "abstention" significantly reduces error propagation compared to aggressive but incorrect predictions. These findings suggest that future claim decomposition frameworks must prioritize precise evidence synthesis and calibrate the label bias of sub-claim verification models.

연구 동기 및 목표

• 실제 세계 데이터에서 하위 주장 분해가 복합 주장 검증에 미치는 영향을 조사한다.
• 증거 정렬의 역할(하위 주장 정렬 증거 vs 반복된 주장 수준 증거)이 검증 성능에 미치는 영향을 평가한다.
• 노이즈가 있는 하위 주장 라벨이 주장 수준 검증으로 오류를 어떻게 전파하는지 정량화한다.
• 증거가 시간적으로 경계된 실제 데이터로 인간 주석 하위 주장 증거 구간을 포함하는 데이터셋을 제공하여 엄밀한 평가를 보장한다.
• 하위 주장 검증의 오류 전파 및 편향을 최소화하는 분해 프레임워크 설계에 대한 지침을 제공한다.

제안 방법

• 복합 주장을 하위 주장으로 분해하고, 관련 증거 및 진실성 라벨을 부여한다.
• 두 가지 증거 정렬 설정(SAE: sub-claim aligned evidence, SRE: repeated claim-level evidence)에서 주장 검증을 평가한다.
• 오라클(골드) 하위 주장 라벨과 노이즈가 있는(예측된) 하위 주장 라벨을 사용하여 오류 전파를 연구한다.
• Qwen3-14B를 주장 수준 검증에, CHEF/BERT 인코더를 하위 주장 검증 기준으로 사용하고 GNN을 하위 주장 진실성 예측에 사용한다.
• PHEME 기반의 실제 세계 데이터셋(시간적 경계 증거 및 인간 주석 하위 주장 구간), 일반화 테스트용 MMM-Fact 및 COVID-Fact를 생성하고 활용한다.

Figure 1: shows our annotation and claim verification pipeline and different setups for the study. Oracle_(SAE/SRE) setups use gold sub-claim labels, ablation models do not use any sub-claim labels and noisy setup (not shown in figure) uses predicted sub-claim labels.

실험 결과

연구 질문

• RQ1 주장이 정교하게 분해되었을 때, 하위 주장 증거가 정렬되고 라벨이 신뢰할 수 있다면 검증이 개선되는가?
• RQ2 증거 정렬(SAE 대 SRE)이 데이터셋과 도메인 전반에서 성능에 어떤 영향을 미치는가?
• RQ3 노이즈가 있는 하위 주장 라벨이 하위 주장 검증 및 이로 인한 주장 수준 검증에 어떤 오류를 전파시키며 어떤 오류 프로파일이 가장 해로운가?
• RQ4 상세한 증거일 때와 거칠게 있을 때 하위 주장 검증에서의 오류 전파 동학은 어떤가?
• RQ5 실제 세계 및 도메인 특화 사실 확인 데이터셋에서 분해의 이점이 얼마나 일반화되는가?

주요 결과

• 하위 주장 증거가 하위 주장에 정렬(SAE)되고 하위 주장 신호가 신뢰할 수 있을 때 분해가 성능 향상을 가져온다.
• 반복된 주장 수준 증거(SRE)를 사용하는 경우 종종 개선이 없거나 성능이 저하되며, 특히 MMM-Fact 및 COVID-Fact에서 더 그렇다.
• 노이즈가 있는 하위 주장 라벨은 성능을 저하시킨다. SRE가 특히 취약한 반면, SAE는 예측기 편향에 따라 더 안정적으로 남아 있다.
• 하위 주장 라벨링의 보수적 기권은 공격적이고 잘못된 예측에 비해 오류 전파를 줄인다.
• 노이즈가 있는 라벨 하에서 GNN 기반 하위 주장 진실성 예측은 제로샷 LLM에 비해 뒤처지며, 이 작업에서 대형 언어 모델의 강점을 강조한다.

Table 10: Prompt templates used in our experiments. Oracle SRE uses claims with sub-claims, sub-claim veracity and claim level evidence.