[논문 리뷰] LOREN: Logic Enhanced Neural Reasoning for Fact Verification.

Jiangjie Chen, Qiaoben Bao외 5명|arXiv (Cornell University)|2020. 12. 25.

Topic Modeling참고 문헌 34인용 수 4

한 줄 요약

LOREN는 자연어 문장을 핵심 어휘 중심의 더 작은 추론 단위로 분해하고, 각 단위를 신경망 임베딩을 사용한 질의응답 작업으로 간주하며, 논리 지도의 공동 추론기를 통해 예측을 집계하는 논리 강화 신경 사실 검증 모델을 제안한다. 이 모델은 73.43%의 FEVER 점수를 기록하며 기존 방법들을 능가하며 중간 추론 흐름을 통해 해석 가능성도 향상시킨다.

ABSTRACT

Given a natural language statement, how to verify whether it is supported, refuted, or unknown according to a large-scale knowledge source like Wikipedia? Existing neural-network-based methods often regard a sentence as a whole. While we argue that it is beneficial to decompose a statement into multiple verifiable logical points. In this paper, we propose LOREN, a novel approach for fact verification that integrates both Logic guided Reasoning and Neural inference. The key insight of LOREN is that it decomposes a statement into multiple reasoning units around the central phrases. Instead of directly validating a single reasoning unit, LOREN turns it into a question-answering task and calculates the confidence of every single hypothesis using neural networks in the embedding space. They are aggregated to make a final prediction using a neural joint reasoner guided by a set of three-valued logic rules. LOREN enjoys the additional merit of interpretability -- it is easy to explain how it reaches certain results with intermediate results and why it makes mistakes. We evaluate LOREN on FEVER, a public benchmark for fact verification. Experiments show that our proposed LOREN outperforms other previously published methods and achieves 73.43% of the FEVER score.

연구 동기 및 목표

• 핵심 어휘를 중심으로 자연어 문장을 더 작은 검증 가능한 논리 단위로 분해하여 사실 검증을 향상시키는 것.
• 기존 신경망 방법이 전체 문장을 단일 단위로 간주하여 해석 가능성 부족 문제를 해결하는 것.
• 신호 논리 규칙을 신경 추론과 통합하여 더 견고하고 설명 가능한 예측을 도모하는 것.
• 중간 추론 단계를 폭 드러내어 사용자가 추론 경로를 추적하고 오류를 진단할 수 있도록 해석 가능성 확보.
• 논리적 일관성과 투명성을 유지하면서 FEVER 벤치마크에서 최신 기술 수준의 성능 달성.

제안 방법

• LOREN는 중심 어휘를 기반으로 주어진 문장을 여러 추론 단위로 분해하여 검증 가능한 주장들을 분리한다.
• 각 추론 단위는 질의응답 작업으로 변환되며, 신경망이 임베딩 공간에서 신뢰도 점수를 계산한다.
• 신경 공동 추론기가 세 가지 값 논리 규칙(지지, 반박, 알 수 없음)을 사용하여 개별 가설 예측을 집계한다.
• 논리 규칙은 여러 주장 간 일관성과 논리적 타당성을 확보하기 위해 집계 과정을 지도한다.
• 모델은 문장 임베딩을 사전 학습하여 문장과 증거를 인코딩함으로써 효과적인 유사도 및 신뢰도 점수 계산을 가능하게 한다.
• 중간 예측 결과를 공개함으로써 모델의 추론 과정을 추적하고 오류를 진단할 수 있도록 해석 가능성을 제공한다.

실험 결과

연구 질문

• RQ1 자연어 문장을 더 작은 논리 단위로 분해하는 것이 사실 검증 성능 향상에 기여하는가?
• RQ2 신경 추론과 상징 논리 규칙을 융합하는 것이 정확도 및 내구성 향상에 얼마나 효과적인가?
• RQ3 제안된 방법이 종단 간 신경망 모델에 비해 해석 가능성에 얼마나 기여하는가?
• RQ4 모델이 높은 정확도와 논리적 일관성을 유지하면서 FEVER 벤치마크로 일반화 가능한가?
• RQ5 중간 추론 단계는 모델 오류 식별 및 설명에 어떤 역할을 하는가?

주요 결과

• LOREN는 FEVER 점수 73.43%를 기록하여 기존에 발표된 방법들을 능가한다.
• 문장을 논리 단위로 분해함으로써 주장의 더 정확하고 세분화된 검증이 가능해졌다.
• 세 가지 값 논리 규칙과 신경망의 신뢰도 점수를 융합함으로써 예측의 일관성이 향상되고 오류 분류가 감소했다.
• 모델의 중간 추론 흐름은 예측에 대한 명확한 설명을 제공하여 해석 가능성과 오류 진단 능력을 향상시켰다.
• 신경 추론과 상징 논리의 융합이 순수 신경망 방법에 비해 더 높은 성능과 투명성을 달성할 수 있음을 입증했다.