[논문 리뷰] Self-Supervised Claim Identification for Automated Fact Checking

Archita Pathak, Mohammad Abuzar Shaikh외 1명|arXiv (Cornell University)|2021. 02. 03.

Misinformation and Its Impacts참고 문헌 32인용 수 4

한 줄 요약

이 논문은 인간의 레이블링이 비용이 많이 들기 때문에 필요하지 않은, 자기지도 학습 기반의 어텐션 모델(MA-CIN)을 제안한다. 이 모델은 머리말과 본문의 관련성(aboutness)을 활용하여 가짜 뉴스 기사에서 '주장할 만한' 문장을 식별한다. 모델은 세 가지 데이터셋에서 뛰어난 성능을 보이며, 자동화된 사실 확인을 위한 증거를 포함한 새로운 벤치마크 데이터셋을 도입한다.

ABSTRACT

We propose a novel, attention-based self-supervised approach to identify "claim-worthy" sentences in a fake news article, an important first step in automated fact-checking. We leverage "aboutness" of headline and content using attention mechanism for this task. The identified claims can be used for downstream task of claim verification for which we are releasing a benchmark dataset of manually selected compelling articles with veracity labels and associated evidence. This work goes beyond stylistic analysis to identifying content that influences reader belief. Experiments with three datasets show the strength of our model. Data and code available at https://github.com/architapathak/Self-Supervised-ClaimIdentification

연구 동기 및 목표

• 가짜 뉴스 기사에서 주장할 만한 문장을 식별하기 위한 확장 가능하고 자원이 적은 방법의 부족을 해결한다.
• 높은 비용이 드는 인간의 레이블링에 의존하는 기존의 지도 학습 및 약한 지도 학습 방법의 한계를 극복한다.
• 머리말과 본문 콘텐츠 사이의 의미적 관계(aboutness)를 활용하여 영향력 있고 검증 가능한 주장을 탐지할 수 있는 자기지도 학습 프레임워크를 개발한다.
• 가짜 뉴스 기사에 대해 수동으로 레이블링된 진실성 레이블과 증거를 포함한 새로운 벤치마크 데이터셋을 구축하여 후속 사실 확인 작업을 지원한다.
• 스타일적 단서를 넘어서 독자의 신념에 영향을 주는 콘텐츠를 포괄하는 확장 가능한 주장 탐지 기능을 실현한다.

제안 방법

• 기사 머리말(쿼리)와 각 문장(문서) 사이의 aboutness 관계를 모델링하는 자기지도 학습 기반의 멀티헤드 어텐션 신경망(MA-CIN)을 제안한다.
• 머리말과 각 문장 간의 어텐션 가중치를 주장할 만한 정도의 지표로 사용하며, 높은 어텐션 점수는 기사의 핵심 주장과의 관련성이 높음을 나타낸다.
• 레이블이 없는 주장에 기반하지 않고도 관련 문장에 대한 어텐션을 극대화하고 비관련 문장에 대한 어텐션을 최소화하는 대비 학습 목표를 사용하여 모델을 종합적으로 학습한다.
• 어 attention 계산 이전에 문장과 머리말 표현을 초기화하기 위해 사전 훈련된 문장 인코더(예: BERT)를 활용한다.
• 정보 검색에서의 'aboutness' 개념에 기반하여, 머리말과 의미적으로 일치하는 문장에 대해 높은 어텐션을 유도하는 대비 손실 함수를 적용한다.
• 일부 수동으로 코딩된 가짜 뉴스 기사의 진실성 레이블과 증거를 활용하여 모델을 미세조정하여 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 레이블이 부여된 주장이 필요 없이 자기지도 학습 모델이 가짜 뉴스에서 주장할 만한 문장을 효과적으로 식별할 수 있는가?
• RQ2 기존의 지도 학습 또는 약한 지도 학습 방법과 비교해 볼 때, 어텐션 메커니즘이 머리말과 본문 간의 의미적 'aboutness'를 얼마나 잘 포착하는가?
• RQ3 제안된 모델이 주제와 구조가 다양한 다양한 가짜 뉴스 데이터셋에 얼마나 잘 일반화되는가?
• RQ4 학습 시 레이블이 부여된 주장이 전혀 없을 경우, 모델의 성능가 지도 기반 베이스라인과 비교해 어떻게 되는가?
• RQ5 어휘적 겹침이 적더라도 모델이 머리말과 의미적으로 관련된 주장을 식별할 수 있는가?

주요 결과

• MA-CIN 모델은 학습 시 인간이 레이블링한 주장이 전혀 필요 없이 세 가지 다른 데이터셋(DNF_Eval, CDC_Eval, 그리고 새로운 벤치마크)에서 뛰어난 성능을 보였다.
• 정성 분석 결과, 샘플 기사에서 인간 평가자가 선정한 상위 5개 주장 중 3개를 정확히 식별하여 인간 판단과의 의미적 관련성에서 강력한 일치를 보였다.
• 모델은 의미적 aboutness를 성공적으로 포착했다: 의미가 맞지 않는 문장(예: 문장 1, 머리말과 단어는 겹치지만 의미는 다름)에는 낮은 어텐션을 부여하고, 의미적으로 일관된 주장(예: 문장 2, 12, 13)에는 높은 어텐션을 부여했다.
• 어텐션 패턴은 모델이 관련 문장들을 그룹화하는 것을 보여주며(예: 문장 3~8은 내러티브 체인 형성), 동일 문장에 대한 자기어텐션을 피하는 것으로 강력한 추론 능력을 보였다.
• 모델은 지식 기반 레이블에 포함되지 않은 문장(예: 문장 3, 4)도 관련성이 있다고 판단하여, 평가자 간의 일치를 넘어서는 더 넓은 주장 탐지 가능성을 보여주었다.
• 다양한 평가 케이스에서 일관된 어텐션 패턴을 보이며 인간 레이블 데이터의 주관적 편향에 대해 강건한 성능을 보였다.