[논문 리뷰] Learning Causal Bayesian Networks from Text

Farhad Moghimifar, Afshin Rahimi외 2명|arXiv (Cornell University)|2020. 11. 26.

Topic Modeling참고 문헌 18인용 수 4

한 줄 요약

이 논문은 언어적 변수와 형식적 개념 분석을 사용하여 텍스트에서 고수준 개념 간의 인과 관계를 추출하는 새로운 방법을 제안한다. 이를 통해 인과 베이지안 네트워크(CBN)를 구축하고, 심리학 텍스트 데이터셋에서 69.4%의 정확도를 달성하며, 기존 최고 수준의 방법들보다 13–20% 높은 성능을 보이며, 인접하지 않은 관계와 이방향 인과관계까지 탐지할 수 있다.

ABSTRACT

Causal relationships form the basis for reasoning and decision-making in Artificial Intelligence systems. To exploit the large volume of textual data available today, the automatic discovery of causal relationships from text has emerged as a significant challenge in recent years. Existing approaches in this realm are limited to the extraction of low-level relations among individual events. To overcome the limitations of the existing approaches, in this paper, we propose a method for automatic inference of causal relationships from human written language at conceptual level. To this end, we leverage the characteristics of hierarchy of concepts and linguistic variables created from text, and represent the extracted causal relationships in the form of a Causal Bayesian Network. Our experiments demonstrate superiority of our approach over the existing approaches in inferring complex causal reasoning from the text.

연구 동기 및 목표

• 기존의 자연어 처리(NLP) 방법들이 낮은 수준의 인접한 사건들 사이의 인과 관계만 추출하는 데에 한계가 있다는 문제를 해결하기 위해.
• 문장 간의 근접성과 무관하게 개념 수준에서의 인과 추론을 가능하게 하기 위해.
• 후속 AI 응용을 위해 구조적이고 확률적인 형태(Causal Bayesian Network)로 추출된 인과 지식을 표현하기 위해.
• 직접 공존하지 않는 개념들 사이의 인과 관계를 추론할 수 있도록 지원하는 계층적 언어적 변수 프레임워크를 개발하기 위해.
• 심리학 분야에서 인과 관계 추출을 평가하기 위한 PsyCaus 데이터셋을 공개하여 재현 가능한 연구를 지원하기 위해.

제안 방법

• Wu 등(2012)이 제안한 확률적 방법을 통해 IsA(상위어-하위어) 관계를 이용해 텍스트에서 언어적 변수와 그 값들을 추출한다.
• 형식적 개념 분석(Ganter와 Wille, 2012)을 사용하여 언어적 변수와 그 값들 간의 계층적 관계를 모델링하는 형식적 개념 래티스를 구축한다.
• 새로운 인과성 탐지 함수(식 1)를 적용하여 변수 쌍 간의 비대칭 유사도 점수를 계산하고, 임계값 μ를 통해 인과 방향을 결정한다.
• 계층적 구조를 활용해 텍스트에서 직접 함께 언급되지 않은 개념들 사이의 인과 연결을 추론한다.
• 최종적으로 추출된 인과 지식을 인과 베이지안 네트워크(CBN)로 표현하여 확률적 추론과 반사적 추론을 가능하게 한다.
• CBN의 방향성 특성을 고려해 이방향 인과관계를 탐지하기 위해, 인과성 점수 함수의 절대값이 대칭임을 감지하고, 이에 대해 후처리(예: 결정 트리)를 수행한다.

실험 결과

연구 질문

• RQ1 인과와 결과가 인접한 문장에 있지 않은 경우에도 고수준 개념 간의 인과 관계를 신뢰성 있게 텍스트에서 추출할 수 있는가?
• RQ2 계층적 언어적 변수 프레임워크가 텍스트 내 비인접 인과 관계 탐지에 효과적인가?
• RQ3 제안된 방법이 개념 간의 이방향 인과 관계(예: 정서와 식이장애 간의 관계)를 식별하는 데 얼마나 효과적인가?
• RQ4 텍스트 데이터로부터 인과 베이지안 네트워크를 효과적으로 구성하여 복잡한 인과 및 반사적 추론을 지원할 수 있는가?
• RQ5 제안된 방법이 기존의 특징 기반, 분포 기반, 히우리스틱 기반 기준보다 인과 관계 추출에서 얼마나 뛰어난가?

주요 결과

• 제안된 방법은 인과 관계 분류에서 테스트 정확도 0.694를 달성하였으며, 최고 수준의 특징 기반 방법(0.56)과 분포 기반 방법(0.50)보다 유의미하게 높은 성능을 보였다.
• 최고의 특징 기반 기준보다 13% 향상되었고, 다수 클래스 기준보다 20% 향상되어 강건성과 일반화 능력을 입증하였다.
• 임계값 μ = 0.05에서 매크로 평균 F1 점수가 0.66에 도달하여 인과성 탐지 임계값에 대한 최적의 민감도를 보였다.
• 명시적인 인과 연결어가 없더라도 정서와 식이장애 간의 이방향 인과 관계를 성공적으로 식별하였다.
• 계층적 구조 덕분에 같은 문장에 함께 등장하지 않는 개념들 간의 인과 연결을 탐지할 수 있었으며, 예를 들어 정신병적 장애와 기분 불량 간의 인과 관계도 정확히 식별하였다.
• 모델의 성능은 임계값 μ에 민감하게 반응하였으며, F1 점수가 μ = 0.05에서 최고로 나타나 인과성 탐지에 최적의 초깃값 조정이 중요함을 확인하였다.