[논문 리뷰] Extracting Qualitative Causal Structure with Transformer-Based NLP

Scott Friedman, Ian Magnusson외 1명|arXiv (Cornell University)|2021. 08. 20.

Topic Modeling참고 문헌 15인용 수 5

한 줄 요약

이 논문은 자연어에서 엔티티, 정성적 인과 관계(e.g., q+, q−, forPurpose, hasFunction) 및 제약 속성(e.g., 크기, 시간적 조건자)을 동시에 추출하는 트랜스포머 기반 NLP 모델인 SpEAR를 제안한다. 과학적 진술과 민족지적 텍스트에서 평가된 결과, 작은 데이터셋임에도 불구하고 유의미한 F1 스코어를 기록하여, 추후 추론 및 지식 그래프 내 탐색을 위한 인과적 구조의 효과적인 추출을 입증한다.

ABSTRACT

Qualitative causal relationships compactly express the direction, dependency, temporal constraints, and monotonicity constraints of discrete or continuous interactions in the world. In everyday or academic language, we may express interactions between quantities (e.g., sleep decreases stress), between discrete events or entities (e.g., a protein inhibits another protein's transcription), or between intentional or functional factors (e.g., hospital patients pray to relieve their pain). This paper presents a transformer-based NLP architecture that jointly identifies and extracts (1) variables or factors described in language, (2) qualitative causal relationships over these variables, and (3) qualifiers and magnitudes that constrain these causal relationships. We demonstrate this approach and include promising results from in two use cases, processing textual inputs from academic publications, news articles, and social media.

연구 동기 및 목표

• 자연어에서 방향성, 단조성, 시간적 또는 크기 제약 등을 포함한 정성적 인과 관계를 자동으로 식별하고 추출하는 방법을 개발하는 것.
• 일상어와 과학어에서 복잡한 인과 메커니즘을 표현하는 데 있어 맥락 민감한 NLP 모델을 활용하여 도전 과제를 해결하는 것.
• 추출된 인과 지식 그래프의 탐색을 가능하게 하여 민족지적 및 과학적 텍스트에서 정신 모델과 功能적 관계를 탐색하는 것.
• 트랜스포머 기반 모델이 공식 온톨로지에 의존하지 않고도 이질적인 인과 관계—정량적, 의도적, 목적론적—을 효과적으로 포착할 수 있음을 입증하는 것.
• 구조화된 인과 지식 추출을 통해 과학적 진술 평가, 문헌 통합, 문화적 인과성 분석 등의 후행 응용을 지원하는 것.

제안 방법

• SpEAR 모델는 SpERT에서 유도된 BERT 기반 아키텍처를 미세조정한 것으로, 다중 레이블 분류 프레임워크 내에서 공동 엔티티, 관계, 속성 추출을 위해 설계되었다.
• 모델는 세 가지 핵심 구성 요소를 식별한다: (1) 엔티티(변수 또는 요인), (2) 정성적 인과 관계(e.g., q+, q−, forPurpose, hasFunction), (3) 크기, 시간 조건자, 비교 수준 등의 속성.
• 관계는 기호적 스키마로 정의된다. 예를 들어, ⟨a, q+, b⟩는 a의 증가가 b의 증가를 유도함을 나타내며, ⟨a, forPurpose, b⟩는 의도적 또는 목표 지향적 인과성을 의미한다.
• 시스템은 입력 텍스트를 처리하고, 노드가 엔티티이고, 간선이 관련된 정성적 관계와 보조 정보를 가진 지식 그래프를 출력한다. 경로 탐색을 위해 벡터 유사도와 레마 매칭을 사용한다.
• 훈련은 과학 논문과 민족지적 문학에서 수확한 소규모 인간 주석 데이터셋을 사용한 지도적 미세조정을 통해 수행되며, 평가는 마이크로 평균 F1 스코어로 수행된다.
• 사용자가 정의한 소스 및 목적지 개념 간 경로 탐색을 위한 탐색 시스템을 구현하여, 불완전하거나 불필요한 경로를 잘라내어 가독성을 높였다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 NLP 모델이 비정형 자연어에서 방향성, 단조성, 시간 제약 등을 포함한 정성적 인과 관계를 정확하게 추출할 수 있는가?
• RQ2 이러한 모델이 과학 및 민족지학과 같은 다양한 분야에서 엔티티, 인과 관계, 제약 속성(예: 크기, 위치)을 공동으로 식별할 수 있는 정도는 어느 정도인가?
• RQ3 추출된 인과 지식 그래프가 공식 온톨로지 제약 없이도 의미 있는 경로 탐색과 추론을 지원할 수 있는가?
• RQ4 훈련 데이터가 부족하고 관계가 언어적으로 거리가 먼 경우, F1 스코어와 같은 성능 지표가 다양한 관계 유형(e.g., q+, q−) 간 어떻게 달라지는가?
• RQ5 모델의 출력이 과학적 진술 평가 또는 문화적 인과성 지ap 맵핑과 같은 실용적 후행 응용을 가능하게 할 수 있는가?

주요 결과

• SpEAR 모델은 51개의 과학적 진술로 구성된 소규모 테스트 세트에서 유의미한 F1 스코어를 기록했으며, 마이크로 평균 성능을 통해 엔티티, 관계, 속성의 추출 능력이 뛰어나다는 것을 입증했다.
• q+와 q− 관계는 훈련 지원도 낮고, 텍스트 내 헤드 및 테일 엔티티 간 언어적 거리가 커서 성능이 가장 낮았다.
• 제한된 훈련 데이터에도 불구하고, 크기나 시간 제약과 같은 복잡한 보조 정보를 포함한 정성적 인과적 구조의 효과적인 추출이 가능했으며, 과학적 및 민족지적 텍스트의 출력 예시에서 이를 확인할 수 있었다.
• 탐색 시스템은 '기도하다'에서 '임신 중'으로 이르는 의미 있는 인과 경로를 성공적으로 식별하여, 문화적으로 뿌리를 둔 목적과 의도를 반영했으며, 모델의 정신 모델 탐색에 대한 유용성을 검증했다.
• 공식 온톨로지에 기반하지 않은 추출 지식 그래프이지만, 이질적인 개념 간 일관되고 해석 가능한 경로 탐색이 가능했으며, 개략적 수준의 추론을 지원했다.
• 결과는 맥락 민감한 트랜스포머 모델이 최소한의 감독 하에 다양한 언어적 자료에서 정성적 인과적 구조를 효과적으로 추출하고 표현할 수 있음을 뒷받침한다.