[논문 리뷰] DTCA: Decision Tree-based Co-Attention Networks for Explainable Claim Verification

Lianwei Wu, Yuan Rao외 3명|arXiv (Cornell University)|2020. 04. 28.

Topic Modeling참고 문헌 42인용 수 10

한 줄 요약

이 논문은 설명 가능한 진술 검증을 향상시키기 위해 결정트리 기반 공액주의 네트워크인 DTCA를 제안한다. 이는 높은 신뢰도를 가진 댓글을 투명하게 선택하고, 공액주의 기법을 사용해 진술의 잘못된 부분을 식별한다. DTCA는 RumourEval과 PHEME에서 각각 3.11%, 2.41% 향상된 최고 성능을 기록하며, 해석 가능한 증거 선택과 잘못된 진술 요소에 대한 세분화된 주의를 제공한다.

ABSTRACT

Recently, many methods discover effective evidence from reliable sources by appropriate neural networks for explainable claim verification, which has been widely recognized. However, in these methods, the discovery process of evidence is nontransparent and unexplained. Simultaneously, the discovered evidence only roughly aims at the interpretability of the whole sequence of claims but insufficient to focus on the false parts of claims. In this paper, we propose a Decision Tree-based Co-Attention model (DTCA) to discover evidence for explainable claim verification. Specifically, we first construct Decision Tree-based Evidence model (DTE) to select comments with high credibility as evidence in a transparent and interpretable way. Then we design Co-attention Self-attention networks (CaSa) to make the selected evidence interact with claims, which is for 1) training DTE to determine the optimal decision thresholds and obtain more powerful evidence; and 2) utilizing the evidence to find the false parts in the claim. Experiments on two public datasets, RumourEval and PHEME, demonstrate that DTCA not only provides explanations for the results of claim verification but also achieves the state-of-the-art performance, boosting the F1-score by 3.11%, 2.41%, respectively.

연구 동기 및 목표

• 신뢰할 수 없는 신경망 기반 증거 탐색의 투명성 부족 문제를 해결하기 위해.
• 명확한 결정 규칙을 통해 신뢰할 수 있는 댓글을 증거로 선택할 수 있도록 해석 가능성 향상을 위해.
• 전체 진술의 진위성 외에도 진술 내에서 잘못되거나 오해의 소지가 있는 부분을 집중적으로 식별하기 위해.
• 구조화된 결정트리와 딥 네URAL 주의를 조합하여 증거 선택과 잘못된 부분 식별을 동시에 수행하기 위해.
• 해석 가능성 유지와 함께 최고 성능을 달성하기 위해.

제안 방법

• 구조적이고 계층적인 댓글을 기반으로 결정 조건을 콘텐츠 및 메타데이터에서 유도하여 높은 신뢰도를 가진 댓글을 선택하는 결정트리 기반 증거(DTE) 모델을 구축한다.
• DTE 모델은 의미적 유사도(0.40–0.49), 리뷰어 신뢰도(>0.66), 댓글 신뢰도(>0.62) 등의 다중 기준을 사용해 증거를 걸러내고 순위를 매긴다.
• 공액주의 자기주의 네트워크(CaSa)는 선택된 증거와 진술 간의 깊은 의미적 상호작용을 가능하게 하여 진술의 잘못되거나 의심스러운 구성 요소에 집중한다.
• CaSa는 이중 기능을 수행한다: (1) 피드백을 통해 결정 임계값을 최적화하여 DTE를 개선하고, (2) 주의 가중치를 통해 진술 내 핵심적인 오해의 소지가 있는 단어를 식별한다.
• 프레임워크는 공동 최적화되며, DTE와 CaSa가 동시에 학습되어 증거 품질 향상과 잘못된 부분 탐지 성능을 향상시킨다.
• 트리 내 명시적인 결정 경로를 통해 증거 선택을 해석 가능하게 하며, 주의 맵을 통해 진술과 댓글에서 가장 관련성이 높은 단어를 시각화한다.

실험 결과

연구 질문

• RQ1 결정트리 기반 접근 방식이 진술 검증을 위한 투명하고 해석 가능한 증거 선택을 제공할 수 있는가?
• RQ2 선택된 증거를 활용해 공액주의 기법이 진술 내 잘못되거나 오해의 소지가 있는 부분을 얼마나 효과적으로 국소화할 수 있는가?
• RQ3 구조화된 결정 규칙과 신경망 주의를 통합하면 진술 검증의 성능과 해석 가능성 모두 향상되는가?
• RQ4 다양한 수의 지지 댓글을 가진 진술에 대해 모델은 어떤 성능을 보이는가?
• RQ5 모델의 주의 메커니즘이 의미적으로 관련성이 높은 증거와 잘못된 진술 요소를 얼마나 잘 부각시키는가?

주요 결과

• DTCA는 최고 성능을 기록하여, 이전 방법 대비 RumourEval에서 F1 스코어를 3.11% 향상시키고 PHEME에서는 2.41% 향상시켰다.
• 공액주의 기법을 통해 고주기 가중치를 통해 '의심스럽게 무슬림', '기독교도가 아니다' 등의 잘못된 또는 오해의 소지가 있는 진술 요소를 성공적으로 식별하고 부각시켰다.
• DTE에 의해 선택된 증거는 일관되게 높은 의미적 유사도(0.40–0.49), 리뷰어 신뢰도(>0.66), 댓글 신뢰도(>0.62)를 보이며, 선택 과정의 신뢰성을 확인한다.
• 8개 이상의 댓글이 있는 진술에 대해 DTCA는 RumourEval에서 F1 스코어 79.34%와 PHEME에서 79.68%를 기록하여, 8개 미만의 댓글을 가진 진술에 비해 뚜렷이 높은 성능을 보였다.
• 오류 분석 결과, 8개 미만의 댓글을 가진 진술에서는 성능 저하가 발생하며, RumourEval에서는 최소 4.92%의 정확도 감소와 PHEME에서는 최소 3.10%의 감소가 관찰되어 댓글 수에 의존하는 경향을 보였다.
• 시각화된 주의 맵은 '거짓 플래그', '그것에 도달하는 방법은 무엇인가요?', '매주 샤를리 헤보'와 같은 의미적으로 중요한 단어에 집중하고 있음을 확인하며, 관련 배경 지식과 연결됨을 시사한다.