[논문 리뷰] FactKG: Fact Verification via Reasoning on Knowledge Graphs

Jiho Kim, Sungjin Park외 4명|arXiv (Cornell University)|2023. 05. 11.

Topic Modeling인용 수 5

한 줄 요약

FactKG는 DBpedia 지식 그래프에 기반한 108,000개의 진술을 포함하는 새로운 사실 검증 데이터셋을 소개하며, 일단, 결합, 존재, 다단계, 부정의 다섯 가지 유형의 추론을 가능하게 한다. 제안된 GEAR 모델은 지식 그래프 증거를 활용하여 뛰어난 성능을 달성하였으며, 특히 존재 및 부정 태스크에서 두각을 나타내어, 구조화된 지식이 사실 검증 시스템의 신뢰성과 해석 가능성에 기여함을 보여준다.

ABSTRACT

In real world applications, knowledge graphs (KG) are widely used in various domains (e.g. medical applications and dialogue agents). However, for fact verification, KGs have not been adequately utilized as a knowledge source. KGs can be a valuable knowledge source in fact verification due to their reliability and broad applicability. A KG consists of nodes and edges which makes it clear how concepts are linked together, allowing machines to reason over chains of topics. However, there are many challenges in understanding how these machine-readable concepts map to information in text. To enable the community to better use KGs, we introduce a new dataset, FactKG: Fact Verification via Reasoning on Knowledge Graphs. It consists of 108k natural language claims with five types of reasoning: One-hop, Conjunction, Existence, Multi-hop, and Negation. Furthermore, FactKG contains various linguistic patterns, including colloquial style claims as well as written style claims to increase practicality. Lastly, we develop a baseline approach and analyze FactKG over these reasoning types. We believe FactKG can advance both reliability and practicality in KG-based fact verification.

연구 동기 및 목표

• 지식 그래프(KG)가 사실 검증에서 부족하게 활용되고 있는 문제를 해결하기 위해, 신뢰할 수 있고 구조화된 증거 자료로 지식 그래프를 활용하는 데이터셋을 구축한다.
• 텍스트 추출에만 의존하는 것이 아니라, 지식 그래프의 구조를 통해 추론 체인을 명시적으로 모델링하여 사실 검증의 신뢰성과 해석 가능성을 향상시킨다.
• 대화 시스템 및 실생활 응용 분야에의 구현 가능성을 높이기 위해, 서면 및 구어체 스타일의 진술을 모두 포함시켜 실용성을 강화한다.
• 특히 부정 및 다단계 추론과 같은 복잡한 경우에서 그래프 기반 증거의 성능에 미치는 영향을 평가하여, 다양한 추론 유형에 걸쳐 모델 성능을 분석한다.
• 지식 그래프를 설명 가능한 증거로 사용하여 추론 예측의 기준을 설정하고, 텍스트 기반의 해석과 대비되는 황금 표준 대안을 제공한다.

제안 방법

• WebNLG 방식의 변환을 사용하여 DBpedia 삼항관계에서 자연어 진술 108,000개를 생성하여 특정 지식 그래프 추론 패턴과 일치하도록 보장한다.
• 진술을 다섯 가지 추론 유형으로 분류: 일단(직접 연결), 결합(다중 사실), 존재(엔티티 존재), 다단계(논리 체인), 부정(거짓 탐지).
• 엔티티 치환 및 관계 치환 기법을 적용하여 이중 방향 NLI를 사용하여 진술의 타당성과 언어적 다양성을 확보한다.
• 진술 텍스트와 검색된 지식 그래프 경로(증거 체인)를 결합하여 공동 인코딩하는 지식 인식 기반 사실 검증 모델인 GEAR를 구축한다.
• 엔드 투 엔드 및 증거 보강 설정을 모두 사용하여 모델을 훈련하고 평가하며, 다양한 추론 유형과 진술 스타일 간의 성능을 비교한다.
• 서면 대비 구어체 진술 간의 교차 스타일 평가를 수행하여 일반화 능력을 평가하였으며, BERT, BlueBERT, GEAR를 사용하여 분리된 훈련 및 테스트 세트를 활용한다.

실험 결과

연구 질문

• RQ1 지식 그래프는 복잡한 추론 상황에서 신뢰할 수 있고 해석 가능한 증거 자료로 기능할 수 있는가?
• RQ2 구조화된 지식 그래프 증거를 통합할 경우, 부정 및 다단계 추론과 같은 다양한 추론 유형에서 사실 검증 성능이 어떻게 향상되는가?
• RQ3 구어체 스타일의 진술은 모델 간에 얼마나 잘 일반화되는가? 다양한 어휘 스타일을 사용할 경우 모델의 강건성은 어떻게 향상되는가?
• RQ4 텍스트 기반 기준 대비 그래프 구조 증거를 사용할 경우, 사실 검증에서 더 나은 추론과 해석 가능성 확보가 가능한가?
• RQ5 특히 다단계 설정에서 추론 체인이 길어지거나 모호해질 경우, 지식 그래프 기반 사실 검증의 한계는 무엇인가?

주요 결과

• GEAR는 텍스트 기반 기준 모델(BERT, BlueBERT)을 능가하여 존재 및 부정 추론 유형에서 뛰어난 성능을 보였으며, 구조화된 증거를 사용할 경우 서면 스타일 진술에서 81.00%의 정확도, 구어체 스타일 진술에서 78.80%의 정확도를 기록하였다.
• 최소한의 텍스트 정보를 포함하는 존재 진술에서는 지식 그래프 증거의 사용이 성능 향상에 크게 기여하여, KG가 희박한 텍스트 신호를 보완하는 데 기여함을 시사한다.
• 논리적 추론이 필요한 부정 진술에서는 GEAR의 지식 그래프 구조 의존성이 뚜렷한 성능 향상을 이끌어내어, 명시적 추론 경로의 가치를 입증하였다.
• 다단계 추론에서는 BERT가 GEAR와 동일한 성능(서면→구어체: 75.43% 대 75.43%)을 기록하여, 마스크된 언어 모델링이 장기간의 불완전한 엔티티에 대해 더 잘 처리함을 시사하였다.
• 교차 스타일 평가 결과, 서면 스타일 진술로 미세조정된 모델이 구어체 스타일 진술로도 잘 일반화되었으며, 성능 저하가 미미하여 예상과는 반대로 언어적 다양성에 강건함을 입증하였다.
• 다양한 언어적 스타일과 구조화된 추론 패턴을 포함한 데이터셋 설계 덕분에, 지식 그래프 기반 추론의 체계적 평가가 가능해졌으며, 향후 설명 가능한 사실 검증 분야의 연구를 지원한다.