[논문 리뷰] Combining Fact Extraction and Verification with Neural Semantic Matching Networks

Yixin Nie, Haonan Chen외 1명|arXiv (Cornell University)|2018. 11. 16.

Topic Modeling참고 문헌 23인용 수 29

한 줄 요약

이 논문은 FEVER 벤치마크에서 사실 확인을 위한 문서 검색, 문장 선택, 진술 검증을 종합적으로 수행하는 통합 신경망 의미 매칭 네트워크(NSMN) 프레임워크를 제안한다. 중간 단계의 용어 표현 없이 깊이 있는 의미 매칭을 활용하고, 페이지뷰 빈도, WordNet 특징, 모듈 간 관련성 점수를 통합함으로써, 빌드 테스트 세트에서 FEVER 점수 64.23을 기록하여 이전 방법들보다 뚜렷이 뛰어난 성능을 달성한다.

ABSTRACT

The increasing concern with misinformation has stimulated research efforts on automatic fact checking. The recently-released FEVER dataset introduced a benchmark fact-verification task in which a system is asked to verify a claim using evidential sentences from Wikipedia documents. In this paper, we present a connected system consisting of three homogeneous neural semantic matching models that conduct document retrieval, sentence selection, and claim verification jointly for fact extraction and verification. For evidence retrieval (document retrieval and sentence selection), unlike traditional vector space IR models in which queries and sources are matched in some pre-designed term vector space, we develop neural models to perform deep semantic matching from raw textual input, assuming no intermediate term representation and no access to structured external knowledge bases. We also show that Pageview frequency can also help improve the performance of evidence retrieval results, that later can be matched by using our neural semantic matching network. For claim verification, unlike previous approaches that simply feed upstream retrieved evidence and the claim to a natural language inference (NLI) model, we further enhance the NLI model by providing it with internal semantic relatedness scores (hence integrating it with the evidence retrieval modules) and ontological WordNet features. Experiments on the FEVER dataset indicate that (1) our neural semantic matching method outperforms popular TF-IDF and encoder models, by significant margins on all evidence retrieval metrics, (2) the additional relatedness score and WordNet features improve the NLI model via better semantic awareness, and (3) by formalizing all three subtasks as a similar semantic matching problem and improving on all three stages, the complete model is able to achieve the state-of-the-art results on the FEVER test set.

연구 동기 및 목표

• 정보 오용의 증가하는 도전에 대응하기 위해 자동 사실 확인을 위한 종단 간 시스템을 개발하기 위해.
• 기존의 TF-IDF 및 벡터 공간 모델 대신 깊이 있는 신경망 의미 매칭 네트워크를 도입하여 증거 검색 및 진술 검증을 향상시키기 위해.
• 상游 검색 모듈로부터의 의미 관련성 점수와 WordNet의 온톨로지 특징을 통합하여 진술 검증을 향상시키기 위해.
• 문서 검색, 문장 선택, 진술 검증의 세 단계를 일관된 신경망 아키텍처를 사용해 통합된 의미 매칭 문제로 공식화하기 위해.
• Freebase나 DBpedia와 같은 구조화된 지식 기반에 의존하지 않고 FEVER 벤치마크에서 최고 성능을 달성하기 위해.

제안 방법

• 문서 검색, 문장 선택, 진술 검증 각각을 위해 동일한 성격의 세 개의 신경망 의미 매칭 네트워크(dNSMN, sNSMN, vNSMN)를 사용한다.
• dNSMN는 원시 텍스트 입력을 사용해 문서 검색을 수행하며, 용어 벡터화 없이 깊이 있는 의미 표현을 학습함으로써 TF-IDF 및 인코더 모델을 뛰어넘는 성능을 보인다.
• 페이지뷰 빈도는 문서 순위를 향상시키기 위한 보완 신호로 사용되어 검색 성능을 향상시킨다.
• sNSMN는 진술에 대한 문장을 의미 유사도 기반으로 매칭함으로써 문장 선택을 훈련하기 위해 안내된 샘플링(annealed sampling)을 활용하며, 관련성 점수는 검증기로 전달된다.
• vNSMN는 문장 선택기로부터의 의미 관련성 점수와 WordNet 특징(예: 반대어, 하위어 등)을 신경 NLI 모델에 통합하여 함의 및 모순 탐지 성능을 향상시킨다.
• 전체 파ip라인은 종단 간으로 훈련되며, 단계 간에 공통된 아키텍처와 구성 요소를 사용하여 일관성과 공동 최적화를 보장한다.

실험 결과

연구 질문

• RQ1 중간 단계의 용어 표현 없이도 신경망 의미 매칭 네트워크가 기존의 TF-IDF 및 인코더 기반 정보 검색 모델보다 증거 검색에서 뛰어난 성능을 낼 수 있는가?
• RQ2 페이지뷰 빈도를 통합하면 사실 검증 작업에서 문서 검색 성능이 향상되는가?
• RQ3 상游 검색 모듈로부터의 의미 관련성 점수를 통합하면 하류의 진술 검증 성능이 향상되는가?
• RQ4 WordNet의 온톨로지 특징이 사실 검증에서 자연어 추론의 강건성과 정확도를 얼마나 향상시키는가?
• RQ5 통합된 신경망 의미 매칭 프레임워크는 문서 검색, 문장 선택, 진술 검증을 공동 최적화하여 최고 성능을 달성할 수 있는가?

주요 결과

• 신경망 의미 매칭 네트워크(dNSMN)는 모든 증거 검색 메트릭에서 TF-IDF 및 인코더 모델을 크게 앞서며, 종단 간 깊이 있는 의미 매칭의 우수성을 입증한다.
• 페이지뷰 빈도의 통합은 유사하고 보완적인 분류 정보를 제공하여 문서 검색 성능을 향상시켰다.
• WordNet 특징을 통합함으로써 'Supports' 및 'Refutes' 예제의 F1 점수가 약 1점 향상되었으며, 반대어나 상위어와 같은 세분화된 의미 관계 덕분이었다.
• 문장 선택기로부터의 의미 관련성 점수를 검증기로 통합함으로써 'Not Enough Info' 예제의 F1 점수가 거의 3점 향상되어 모델이 모호한 경우에 더 신뢰할 수 있게 되었다.
• 최종 모델은 빌드 테스트 세트에서 FEVER 점수 64.23을 기록하여 기준 모델보다 두 배 이상 뛰어나며, FEVER 벤치마크에서 새로운 최고 기록을 수립했다.
• 모델는 노이즈에 강건했으며, 증거 필터링 임계값을 낮출수록 FEVER 점수가 약간 상승함으로써, 고재현율 증거 선택을 위한 안내된 샘플링의 타당성을 입증했다.