[논문 리뷰] A Survey on Extraction of Causal Relations from Natural Language Text

Jie Yang, Soyeon Caren Han외 1명|arXiv (Cornell University)|2021. 01. 16.

Topic Modeling인용 수 16

한 줄 요약

이 종합적 서베이는 자연어 텍스트에서 인과 관계 추출(CRE)에 대해 포괄적인 분석을 제공하며, 문맥 내 및 문맥 간의 명시적 및 암시적 인과성에 대해 다룹니다. 지식 기반, 통계적 기계 학습, 딥 러닝 접근법을 평가하고, 데이터 부족 및 문서 수준의 추론과 같은 주요 과제를 밝히며, 향후 원인 지식 기반 구축을 위한 도메인 특화 사전 훈련 모델과 그래프 신경망의 잠재력을 강조합니다.

ABSTRACT

As an essential component of human cognition, cause-effect relations appear frequently in text, and curating cause-effect relations from text helps in building causal networks for predictive tasks. Existing causality extraction techniques include knowledge-based, statistical machine learning(ML)-based, and deep learning-based approaches. Each method has its advantages and weaknesses. For example, knowledge-based methods are understandable but require extensive manual domain knowledge and have poor cross-domain applicability. Statistical machine learning methods are more automated because of natural language processing (NLP) toolkits. However, feature engineering is labor-intensive, and toolkits may lead to error propagation. In the past few years, deep learning techniques attract substantial attention from NLP researchers because of its' powerful representation learning ability and the rapid increase in computational resources. Their limitations include high computational costs and a lack of adequate annotated training data. In this paper, we conduct a comprehensive survey of causality extraction. We initially introduce primary forms existing in the causality extraction: explicit intra-sentential causality, implicit causality, and inter-sentential causality. Next, we list benchmark datasets and modeling assessment methods for causal relation extraction. Then, we present a structured overview of the three techniques with their representative systems. Lastly, we highlight existing open challenges with their potential directions.

연구 동기 및 목표

• 지식 기반, 통계적 기계 학습, 딥 러닝 접근법을 포함한 인과 관계 추출(CRE) 기법에 대한 체계적인 리뷰를 제공하기 위해.
• 명시적/문장 내, 암시적/문장 내, 문장 간 인과성과 같은 다양한 형태의 인과성을 분류하고 분석하기 위해.
• CRE 연구에서 사용되는 벤치마크 데이터셋과 표준 평가 지표를 평가하기 위해.
• 다중 인과성, 데이터 부족, 문서 수준의 인과성 추출과 같은 주요 열린 과제를 식별하고 논의하기 위해.
• 특히 도메인 특화 사전 훈련 모델과 그래프 기반 추론의 통합을 통한 향후 연구 방향을 제안하기 위해.

제안 방법

• 언어적 신호와 구조적 위치에 기반해 인과성을 명시적 및 암시적 형태, 문장 내 및 문장 간 유형으로 분류합니다.
• 지식 기반(규칙 기반, 어휘 기반), 통계적 기계 학습(자연어 처리 툴킷을 활용한 특징 엔지니어링), 딥 러닝(신경망을 활용한 표현 학습)의 세 가지 주요 방법론 가족을 검토하고 비교합니다.
• 원거리 의존성을 모델링하기 위해 경로 기반 추론 메커니즘과 멘션 수준의 GCN을 도입한 대표적 시스템을 분석합니다.
• TAC-RED, Causal-DB, DocRED와 같은 벤치마크 데이터셋에서 정밀도, 재현율, F1과 같은 표준 지표를 사용해 성능을 평가합니다.
• 데이터 부족 문제를 해결하기 위해 비지도 사전 훈련(BiLSTM + 주의 메커니즘)과 지도 분류(random forest 등)를 조합한 하이브리드 접근법을 제안합니다.
• 문장 및 단락 간 장거리 의존성을 모델링하기 위해 경로 기반 추론 메커니즘과 멘션 수준의 GCN을 도입하여 문서 수준의 인과성 추론을 향상시킵니다.

실험 결과

연구 질문

• RQ1 명시적, 암시적, 문장 내, 문장 간 인과성의 형태는 언어적 신호와 추출 난이도 측면에서 어떻게 다릅니까?
• RQ2 지식 기반, 통계적 기계 학습, 딥 러닝 접근법은 인과 관계 추출에서 각각 어떤 강점과 한계를 지닙니까?
• RQ3 벤치마크 데이터셋과 평가 지표는 CRE 시스템 간에 어떻게 비교되며, 그 한계는 무엇입니까?
• RQ4 특히 데이터 부족과 문서 수준의 추론 문제에 있어서 인과 관계 추출의 주요 과제는 무엇입니까?
• RQ5 도메인 특화 사전 훈련 모델과 그래프 기반 추론과 같은 새로운 기법들은 현재의 한계를 극복하는 데 있어 어떤 잠재력을 지닙니까?

주요 결과

• 지식 기반 방법은 해석 가능성을 지니지만 광범위한 수동 작업이 필요하고 도메인 간 일반화 능력이 떨어집니다.
• 통계적 기계 학습 접근법은 수동 작업을 줄이지만 NLP 툴킷 의존성과 수작업 특징 엔지니어링으로 인해 오류 전파 문제가 발생합니다.
• 딥 러닝 모델은 표현 학습 덕분에 뛰어난 성능을 보이지만 높은 계산 비용과 대규모 애너테이션 데이터셋이 필요합니다.
• Freebase를 활용한 원거리 감독 방법은 대규모로 학습 데이터를 생성할 수 있지만 상당한 노이즈를 유발합니다. 이는 at-least-one 또는 주제 기반 접근법을 통해 완화될 수 있습니다.
• BiLSTM와 주의 메커니즘을 활용한 비지도 사전 훈련 이후 지도 분류(예: 랜덤 포레스트 등)를 수행하는 접근법은 자원이 제한된 환경에서의 데이터 부족 문제를 해결하는 데 유망한 해결책을 제공합니다.
• 경로 기반 추론 메커니즘을 갖춘 GCN과 같은 그래프 기반 모델은 문서 수준의 인과성 추론 작업에서 성능을 크게 향상시켜 DocRED 데이터셋에서 최신 기술을 초월합니다.