[논문 리뷰] ROCK: Causal Inference Principles for Reasoning about Commonsense Causality

Jiayao Zhang, Hongming Zhang외 2명|arXiv (Cornell University)|2022. 01. 31.

Topic Modeling인용 수 6

한 줄 요약

ROCK는 잠재 결과와 시간적 성향 점수를 통해 사건 간 인과관계를 모델링함으로써 공통된 인과성 추론(CCR)을 위한 새로운 인과 추론 프레임워크를 제안한다. 사전 훈련된 언어 모델을 활용해 간섭 효과를 추정하면서도 시간적 성향 매칭을 통해 혼동 요인을 완화함으로써 CCR 벤치마크에서 뛰어난 제로샷 성능을 달성한다.

ABSTRACT

Commonsense causality reasoning (CCR) aims at identifying plausible causes and effects in natural language descriptions that are deemed reasonable by an average person. Although being of great academic and practical interest, this problem is still shadowed by the lack of a well-posed theoretical framework; existing work usually relies on deep language models wholeheartedly, and is potentially susceptible to confounding co-occurrences. Motivated by classical causal principles, we articulate the central question of CCR and draw parallels between human subjects in observational studies and natural languages to adopt CCR to the potential-outcomes framework, which is the first such attempt for commonsense tasks. We propose a novel framework, ROCK, to Reason O(A)bout Commonsense K(C)ausality, which utilizes temporal signals as incidental supervision, and balances confounding effects using temporal propensities that are analogous to propensity scores. The ROCK implementation is modular and zero-shot, and demonstrates good CCR capabilities.

연구 동기 및 목표

• 자연어처리(NLP) 분야에서 공통 인과성 추론(CCR)에 대한 공식적인 이론적 프레임워크가 부족한 문제를 해결하기 위해.
• 잠재 결과 프레임워크를 사용하여 자연어 이벤트 간 인과관계를 모델링하고, 언어 시퀀스를 관찰 단위로 간주하기 위해.
• 시간적 성향 점수를 통해 공변량의 균형을 맞추는 대체 지표로 삼아 CCR에서 발생하는 혼동적 공존 현상으로 인한 인과관계 오류를 완화하기 위해.
• 사전 훈련된 언어 모델과 시간적 순서를 이용한 부수적 지도 학습을 통해 제로샷 CCR를 가능하게 하기 위해.
• 자연어 내 이벤트 간 인과 효과를 추정하기 위한 모듈러하고 이론적으로 탄탄한 접근 방식을 제공하기 위해.

제안 방법

• 잠재 결과 프레임워크를 사용하여 평균 치료 효과(ATE)를 추정함으로써 CCR을 정의하며, 여기서 치료는 원인 이벤트 E1에 간섭하는 것을 의미한다.
• 인과 추정량을 ∆ = P(E1 ≺ E2) − P(¬E1 ≇ E2)로 정의하며, 사전 훈련된 언어 모델에서 마스크된 언어 모델링을 통해 확률을 추정한다.
• 성향 점수의 대체 지표로 시간적 성향 점수를 도입하여, 사전 이벤트 공변량의 분포를 기반으로 혼동 요인을 균형 잡는다.
• 시간적 성향 점수 기반 최근접 이웃 매칭을 통해 인과 효과 추정을 위한 균형 잡힌 간섭군과 대조군을 구성한다.
• 모듈러한 파이프라인을 활용: (1) 이벤트 쌍과 사전 이벤트 공변량 추출, (2) 시간적 성향 점수 계산, (3) 간섭 매칭, (4) 언어 모델을 통한 P(E1 ≺ E2) 및 P(¬E1 ≺ E2) 추정.
• 사전 훈련된 모델과 시간적 구조에만 의존하여 미세조정 없이 제로샷 설정에서 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 공통 인과성 추론(CCR)을 인과 추론의 잠재 결과 프레임워크를 사용하여 공식화할 수 있는가?
• RQ2 라벨이 부여된 인과성 애너테이션 없이도 자연어의 시간적 순서를 부수적 지도 학습으로 활용하여 인과 추론에 어떻게 기여할 수 있는가?
• RQ3 시간적 성향 점수는 CCR에서 발생하는 혼동적 공존 현상(예: 사람의 굶주림이 이벤트 순서에 미치는 영향 등)을 어느 정도 완화할 수 있는가?
• RQ4 인과 추론 원칙에 기반한 제로샷 프레임워크가 공통 인과성 작업에서 표준 언어 모델 기반 베이스라인을 초월할 수 있는가?
• RQ5 시간적 순서만으로는 인과관계를 추론하기에 부족할 경우, 제안된 방법이 임의의 상관관계에 대해 얼마나 강건한가?

주요 결과

• ROCK는 COPA 데이터셋에서 사전 훈련된 언어 모델에만 의존하는 강력한 베이스라인을 능가하는 최신 기술 수준의 제로샷 성능을 달성한다.
• 혼동 이벤트로 인한 유사 상관관계를 크게 감소시켰다 — 예를 들어, 배고픔(X1)이 레스토랑에 들어가는(E1) 것과 피자 주문(E2) 사이의 인과관계를 왜곡하는 경우.
• 혼동이 균형 잡히지 않은 상태에서는 추정된 인과 효과 ∆가 편향되지만, 시간적 성향 점수 기반 매칭을 거친 후에는 효과 추정이 더 신뢰성 있고 해석 가능해진다.
• 시간적 성향 점수의 사용은 간섭군과 대조군 간의 공변량을 효과적으로 균형 잡아주어 인과 효과 추정의 편향을 줄인다.
• 명시적인 인과 지도 학습 없이도 시간적 구조와 언어 모델 확률을 조합함으로써 의미 있는 인과 추론을 이끌어낼 수 있음을 프레임워크가 입증한다.
• E1: '그는 포켓에 구멍을 메달았다'와 E2: '그가 걷는 동안 그의 포켓이 쿵쾅거렸다'의 예시에서, '포켓에 아무것도 없었다'나 '구멍이 없었다'와 같은 공변량을 고려함으로써 ROCK은 인과적 타당성을 정확히 식별한다.