[논문 리뷰] Unified Dual-view Cognitive Model for Interpretable Claim Verification

Lianwei Wu, Yuan Rao외 3명|arXiv (Cornell University)|2021. 05. 20.

Topic Modeling참고 문헌 29인용 수 5

한 줄 요약

이 논문은 집단적 및 개인적 인지 관점의 통합을 통해 해석 가능한 진술 검증을 위한 유일한 双시각 인지 모델(CICD)을 제안한다. 집단적 인지 시각은 계층적 인코더-디코더 모듈을 통해 전역적 증거를 생성하고, 개인적 인지 시각은 상위-k개의 다양한 기사 선택 및 상호작용을 통해 국소적 핵심 증거 조각을 추출한다. 전역적 및 국소적 증거를 정렬함으로써 편향을 억제하기 위해 비일관 손실이 도입되어, 세 가지 벤치마크 데이터셋에서 검증 정확도와 해석 가능성 모두를 크게 향상시킨다.

ABSTRACT

Recent studies constructing direct interactions between the claim and each single user response (a comment or a relevant article) to capture evidence have shown remarkable success in interpretable claim verification. Owing to different single responses convey different cognition of individual users (i.e., audiences), the captured evidence belongs to the perspective of individual cognition. However, individuals' cognition of social things is not always able to truly reflect the objective. There may be one-sided or biased semantics in their opinions on a claim. The captured evidence correspondingly contains some unobjective and biased evidence fragments, deteriorating task performance. In this paper, we propose a Dual-view model based on the views of Collective and Individual Cognition (CICD) for interpretable claim verification. From the view of the collective cognition, we not only capture the word-level semantics based on individual users, but also focus on sentence-level semantics (i.e., the overall responses) among all users and adjust the proportion between them to generate global evidence. From the view of individual cognition, we select the top-$k$ articles with high degree of difference and interact with the claim to explore the local key evidence fragments. To weaken the bias of individual cognition-view evidence, we devise inconsistent loss to suppress the divergence between global and local evidence for strengthening the consistent shared evidence between the both. Experiments on three benchmark datasets confirm that CICD achieves state-of-the-art performance.

연구 동기 및 목표

• 기존의 해석 가능한 진술 검증 모델이 개인 사용자 응답에만 의존하는 데서 비롯되는 한계를 해결하기 위해, 이는 인지 편향과 객관적이지 않은 증거를 초래할 수 있다.
• 전체 사용자 감정과 모든 응답 간의 전역적 의미를 반영하는 집단적 인지—개인적 인지와 융합하여 증거 품질을 향상시키기 위해.
• 전역적 및 국소적 증거를 동시에 생성하면서도 이들 간의 일관성을 보장하는 통합 프레임워크를 개발하기 위해.
• 집단적 및 개인적 시각 간의 공통적이고 일관된 증거 조각을 명시적으로 강조함으로써 모델의 해석 가능성 향상하기 위해.
• 비일관된 또는 한쪽 방향의 개인적 응답이 증거 추출에 미치는 영향을 줄이기 위해 비일관 손실 메커니즘을 신규로 도입하기 위해.

제안 방법

• 집단적 인지 시각 기반의 인코더-디코더 모듈(CED)을 설계하여 개인 응답의 단어 수준 의미와 모든 응답 간 문장 수준 의미를 모두 포착해 전역적 증거를 생성한다.
• CED 내의 계층적 어텐션 디코더는 개인적 및 집단적 의미 기여도를 동적으로 균형 조절하여 일관성 있는 전역 증거 시퀀스를 생성한다.
• 개인적 인지 시각 기반의 선택된 상호작용 모듈(ISI)은 의미적 다양성을 기반으로 상위-k개의 가장 상이한 기사를 선별하고, 이를 진술과 상호작용하여 국소적 핵심 증거 조각을 추출한다.
• 전역적 및 국소적 증거 표현 간의 분리( divergence )를 방지하기 위해 비일관 손실 함수를 도입하여 일관성을 증진하고 편향을 감소시킨다.
• 엔드 투 엔드 학습을 통해 증거 생성과 검증을 동시에 최적화하여, 해석 가능한 어텐션 맵과 강조 표시된 중요도를 제공한다.
• 세 가지 벤치마크 데이터셋(FEVER, SciFact, MultiFC)에서 평가되어, 강건성과 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 집단적 및 개인적 인지 관점의 융합이 진술 검증에서 증거의 신뢰성과 해석 가능성 향상에 기여할 수 있는가?
• RQ2 모든 사용자 응답의 집계로부터 유도된 전역적 증거는 의미적 구조를 유지하면서 효과적으로 생성될 수 있는가?
• RQ3 다양한 개인적 응답에서 유도된 국소적 증거 조각은 얼마나 잘 선택되고 통합되어 검증 성능을 향상시킬 수 있는가?
• RQ4 전역적 및 국소적 증거 간의 비일관성을 처벌하는 손실 함수는 편향을 감소시키고 모델의 강건성을 향상시킬 수 있는가?
• RQ5 통합된 이중 시각 프레임워크는 정확도와 해석 가능성 측면에서 기존 최상위 모델들을 초월하는가?

주요 결과

• CICD는 FEVER 벤치마크에서 최신 기술(SOTA) 성능을 달성하여, 파이프라인 모델(NSMN 및 HAN)보다 정확도에서 4.3%에서 11.0%까지 향상되었다.
• FEVER 데이터셋에서 CICD는 개발 세트에서 최소 1.8% 향상되었고, 테스트 세트에서 1.5% 향상되어 그래프 기반 모델(GEAR 및 KGAT)을 초월했다.
• SciFact 데이터셋에서 CICD는 이전 SOTA 모델 대비 F1 점수에서 1.2% 향상되어 다양한 도메인에 대한 강력한 일반화 능력을 입증했다.
• MultiFC 데이터셋에서 CICD는 가장 강력한 베이스라인 대비 F1 점수에서 0.9% 높아, 다중 소스 증거 검증에서의 효과성을 확인했다.
• 사례 연구 결과, CICD는 개인적 인지가 포착한 오해의 소지가 있는 증거 조각(예: '이 영상 스크린샷은')을 성공적으로 억제하면서도, '스크린샷은 한쪽으로 치우쳐 있다'와 같은 일관되고 주목할 만한 증거를 강조함을 확인했다.
• 비일관 손실은 전역적 및 국소적 증거 간의 분리 정도를 효과적으로 감소시켜 더 신뢰할 수 있고 해석 가능한 검증 결과를 도출했다.