[논문 리뷰] From Unstructured Text to Causal Knowledge Graphs: A Transformer-Based Approach

Scott L. Friedman, Ian Magnusson외 2명|arXiv (Cornell University)|2022. 02. 23.

Semantic Web and Ontologies인용 수 5

한 줄 요약

이 논문은 구조화되지 않은 텍스트에서 정성적 인과 지식 그래프를 추출하는 트랜스포머 기반 NLP 모델인 SpEAR를 제시한다. 이 모델은 엔티티, 인과 관계(방향, 크기, 수식어 포함), 그리고 워드넷 기반 어휘 의미를 동시에 식별한다. 과학적 및 민족지적 텍스트에서 그래프 탐색을 통한 실용적 추론과 정확한 추출을 입증하였으며, 언어적 모호성에도 불구하고 유의미한 F1 스코어를 달성하였다.

ABSTRACT

Qualitative causal relationships compactly express the direction, dependency, temporal constraints, and monotonicity constraints of discrete or continuous interactions in the world. In everyday or academic language, we may express interactions between quantities (e.g., sleep decreases stress), between discrete events or entities (e.g., a protein inhibits another protein's transcription), or between intentional or functional factors (e.g., hospital patients pray to relieve their pain). Extracting and representing these diverse causal relations are critical for cognitive systems that operate in domains spanning from scientific discovery to social science. This paper presents a transformer-based NLP architecture that jointly extracts knowledge graphs including (1) variables or factors described in language, (2) qualitative causal relationships over these variables, (3) qualifiers and magnitudes that constrain these causal relationships, and (4) word senses to localize each extracted node within a large ontology. We do not claim that our transformer-based architecture is itself a cognitive system; however, we provide evidence of its accurate knowledge graph extraction in real-world domains and the practicality of its resulting knowledge graphs for cognitive systems that perform graph-based reasoning. We demonstrate this approach and include promising results in two use cases, processing textual inputs from academic publications, news articles, and social media.

연구 동기 및 목표

• 구조화되지 않은 자연어에서 엔티티, 인과 관계, 제약 조건을 포함한 구조화된 인과 지식을 자동으로 추출하는 방법을 개발하는 것.
• 인지 추론 시스템에서 사용하기 위해 정성적 의미(예: q+, q−, 의도+, 목적론적)로 인과 관계를 표현하는 것.
• 맥락 민감한 어휘 의미 해석을 통해 추출된 노드를 온톨로지(워드넷)에 기반하여 정렬함으로써 추론 성능을 향상시키는 것.
• 추출된 지식 그래프가 그래프 탐색 및 인과 추론과 같은 후행 추론 작업에서 실제로 유용한지 평가하는 것.
• 실세계 도메인, 특히 과학적 주장과 민족지적 서사에 대한 이 접근법의 적용을 보여주는 것.

제안 방법

• SpEAR 모델은 SpERT에서 유도된 BERT 기반 아키텍처를 미세조정한 것으로, 맥락 이해 능력을 갖춘 동시 엔티티 및 관계 추출을 위해 설계되었다.
• 이 모델은 동시에 예측한다: (1) 엔티티(변수 또는 요인), (2) 정성적 인과 관계(예: q+, q−, 의도+, 목적론적), (3) 수식어(크기, 시간, 위치), (4) 각 노드에 대한 워드넷 어휘 의미.
• 어휘 의미 해석은 파싱 중이 아니라 후처리 단계에서 맥락 민감한 임베딩을 사용하여 수행된다.
• 다중 작업 학습을 통해 관계와 속성을 동시에 예측함으로써 지식 그래프 구축의 일관성과 타당성을 향상시킨다.
• 추출된 지식은 방향성과 속성이 부여된 그래프로 표현되며, 노드는 엔티티와 어휘 의미로 레이블이 지정되고, 간선은 인과 의미와 수식어를 인코딩한다.
• 패턴 기반 쿼리(예: '어머니가 X를 먹는 것으로부터 아기가 Y를 갖는 원인 경로를 모두 찾기')를 통해 그래프 탐색이 가능해져 간접 영향에 대한 추론을 지원한다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 모델이 구조화되지 않은 텍스트에서 방향, 크기, 시간 제약 조건을 포함한 정성적 인과 관계를 정확하게 추출할 수 있는가?
• RQ2 맥락 민감한 NLP 모델이 추출된 인과 그래프의 엔티티에 대해 온톨로지 기반 어휘 의미(예: 워드넷)를 얼마나 잘 추론할 수 있는가?
• RQ3 결과로 도출된 인과 지식 그래프가 실세계 도메인에서 경로 탐색 및 인과 추론과 같은 실용적 추론 작업을 지원할 수 있는가?
• RQ4 모델이 과학적 주장을 포함한 다양한 텍스트 유형과 문화적으로 특수한 인과 신념을 가진 민족지적 서사에서 얼마나 잘 성능을 발휘하는가?
• RQ5 현재 NLP 모델이 인과 언어의 모호성과 경계 조건(hedging)을 다룰 때의 한계는 무엇이며, 이는 후행 추론에 어떤 영향을 미치는가?

주요 결과

• SpEAR 모델은 데이터 희소성과 언어적 모호성에도 불구하고 SciClaim 데이터셋과 민족지적 코퍼스에서 유의미한 F1 측정치를 달성하였다.
• 시스템은 복잡한 인과 구조, 예를 들어 정성적 증가(q+), 감소(q−), 시간 수식어(예: '2월 5일 이후로'), 크기 수정자 등을 성공적으로 추출하고 표현하였다.
• 패턴 기반 쿼리를 사용한 그래프 탐색은 민족지적 텍스트에서 어머니의 식사 행동과 아동의 건강 결과 사이의 의미 있는 인과 경로를 드러내었다.
• 과학적으로 검증되지 않은 경우에도 문화적으로 특수한 인과 신념(예: 망고를 먹으면 설사가 온다)을 포착하여 기술적 정서 모델 분석에 실용성을 보였다.
• 추상적 논지 유형(예: 빈도 대비 가능성)의 의미 해석에 한계가 있음에도 불구하고, 현재 표현 방식은 인지 시스템에서 실용적 추론을 지원한다.
• 이 접근법은 사전 훈련된 모델이 훈련 데이터의 편향을 그대로 계승함을 드러내었으며, 향후 연구에서는 철저한 평가 및 편향 제거가 필요함을 시사한다.