[논문 리뷰] CausalBERT: Injecting Causal Knowledge Into Pre-trained Models with Minimal Supervision

Zhongyang Li, Xiao Ding외 3명|arXiv (Cornell University)|2021. 07. 21.

Topic Modeling참고 문헌 43인용 수 13

한 줄 요약

CausalBERT는 최소한의 감독 하에 구조화된 인과 패턴과 단어 임베딩을 활용하여 사전 훈련된 언어 모델에 인과 지식을 통합하기 위한 삼단계 프레임워크를 제안한다. 이는 대규모 인과 지식 자원을 생성하며, COPA에서 93.5%의 정확도와 제로샷 설정에서 86.4%의 성능을 기록하여 기존 모델보다 인과 추론 작업에서 뚜렷한 우월성을 보인다.

ABSTRACT

Recent work has shown success in incorporating pre-trained models like BERT to improve NLP systems. However, existing pre-trained models lack of causal knowledge which prevents today's NLP systems from thinking like humans. In this paper, we investigate the problem of injecting causal knowledge into pre-trained models. There are two fundamental problems: 1) how to collect various granularities of causal pairs from unstructured texts; 2) how to effectively inject causal knowledge into pre-trained models. To address these issues, we extend the idea of CausalBERT from previous studies, and conduct experiments on various datasets to evaluate its effectiveness. In addition, we adopt a regularization-based method to preserve the already learned knowledge with an extra regularization term while injecting causal knowledge. Extensive experiments on 7 datasets, including four causal pair classification tasks, two causal QA tasks and a causal inference task, demonstrate that CausalBERT captures rich causal knowledge and outperforms all pre-trained models-based state-of-the-art methods, achieving a new causal inference benchmark.

연구 동기 및 목표

• 사전 훈련된 언어 모델에 인과 지식이 부족하여 자연어 처리 작업에서 인간 수준의 추론 능력이 제한되는 문제를 해결하기 위해.
• 언어 패턴과 임베딩을 활용하여 비정형 텍스트에서 다중 군집(단어, 어구, 문장, 문단) 수준의 인과 지식을 스케일러블하게 수집하는 방법을 개발하기 위해.
• 기존에 학습된 표현을 유지하면서 인과 지식을 사전 훈련된 모델에 효과적으로 통합하기 위해, 치명적인 잊힘(catastrophic forgetting)을 방지하기 위해.
• 분류, 질의 응답, 일반 지식 추론과 같은 다양한 인과 추론 작업에서 향상된 모델의 효과를 평가하기 위해.
• 다양한 데이터셋을 통합하여 새로운 인과 추론 벤치마크를 구축하고, 기존 SOTA 방법보다 일관된 성능 향상을 입증하기 위해.

제안 방법

• 학습을 처음부터 수행하지 않고, 공개된 사전 훈련된 모델(BERT, RoBERTa, ALBERT)을 기본 인코더로 사용한다.
• 예를 들어 'because', 'due to'와 같은 언어 패턴을 활용하여 비정형 텍스트에서 인과 쌍을 추출함으로써, 데이터 수집을 위한 약한 감독을 구현한다.
• 수집된 인과 쌍을 사용하여 자기지도 학습 전처리 단계를 도입하여 인과 쌍 분류 또는 순위 매기기 작업을 수행한다.
• 지식 손실 방지를 위해 정규화 기반 방법(예: distillation 또는 L2 정규화)을 적용하여 사전 훈련된 모델의 기존 지식을 유지한다.
• 강력한 단어 수준의 인과 관계를 학습하기 위해 인과 단어 임베딩을 활용하여 표현 품질을 향상시킨다.
• 삼단계 전이 학습 파이프라인을 사용한다: (1) 일반 텍스트에서의 사전 훈련, (2) 구조화된 인과 쌍에서의 인과 지식 사전 훈련, (3) 최종 작업에서의 미세 조정.

실험 결과

연구 질문

• RQ1 최소한의 감독과 패턴 기반 데이터 수집을 통해 사전 훈련된 모델에 인과 지식을 효과적으로 통합할 수 있는가?
• RQ2 인과 지식 통합이 다양한 추론 수준(예: 단어 수준, 문장 수준, 문단 수준)에서 성능에 미치는 영향은 어떠한가?
• RQ3 정규화 기법이 인과 지식 통합 과정에서 치명적인 잊힘을 어느 정도 방지할 수 있는가?
• RQ4 사용자 지정 미세 조정 없이 제로샷 인과 추론 환경에서 강화된 모델이 잘 일반화되는가?
• RQ5 제안된 방법이 다양한 인과 추론 벤치마크에서 최고 성능(SOTA)을 달성할 수 있는가?

주요 결과

• CausalBERT는 인과 지식을 강화한 ALBERT 모델을 사용하여 COPA 벤치마크에서 93.5%의 정확도를 기록했으며, 대규모 T5-11B 모델(94.8%)에 근접한 성능을 보였다.
• CausalBERT를 강화한 ALBERT-xxlarge 모델은 제로샷 설정에서 COPA에서 86.4%의 정확도를 기록했으며, 강력한 미세 조정 기반 기준 모델들을 능가했다.
• CosmosQA 데이터셋에서 CausalBERT를 강화한 ALBERT-xxlarge 모델은 85.8%의 정확도를 기록했으며, 이는 이전 SOTA인 81.8%를 크게 뛰어넘었다.
• 간단한 작업에서는 성능 향상이 있었지만, 더 복잡한 CosmosQA에서는 성능 향상이 제한적이었으며, 이는 직접적인 인과 쌍 분류만으로는 간접 추론에 부족할 수 있음을 시사한다.
• 평가된 7개의 모든 데이터셋에서 일관되게 성능 향상을 보였으며, 다양한 복잡도의 인과 추론 작업에 대해 강건함을 입증했다.
• 정규화 기법이 기존 지식을 효과적으로 유지하여, 인과 미세 조정 과정에서의 치명적인 잊힘을 줄였다.