[논문 리뷰] Measuring Causal Effects of Data Statistics on Language Model's `Factual' Predictions

Yanai Elazar, Nora Kassner외 7명|arXiv (Cornell University)|2022. 07. 28.

Topic Modeling인용 수 16

한 줄 요약

이 논문은 재학습 없이도 사전학습된 언어모델(PLM)의 사실적 예측에 직접적인 영향을 미치는 훈련 데이터 통계(예: 동시출현 빈도 수)의 원인적 영향을 측정하기 위해 원인인과 프레임워크를 제안한다. 관찰 데이터와 do-계산법을 사용하여, 주어진-목적어 동시출현과 같은 히وري스틱이 모델 예측에 원인적 영향을 미친다는 것을 입증하며, 영향 크기는 최대 57.73 CATE에 이르며, 이는 PLM가 깊은 이해보다는 얕은 통계적 패턴에 의존한다는 것을 드러낸다.

ABSTRACT

Large amounts of training data are one of the major reasons for the high performance of state-of-the-art NLP models. But what exactly in the training data causes a model to make a certain prediction? We seek to answer this question by providing a language for describing how training data influences predictions, through a causal framework. Importantly, our framework bypasses the need to retrain expensive models and allows us to estimate causal effects based on observational data alone. Addressing the problem of extracting factual knowledge from pretrained language models (PLMs), we focus on simple data statistics such as co-occurrence counts and show that these statistics do influence the predictions of PLMs, suggesting that such models rely on shallow heuristics. Our causal framework and our results demonstrate the importance of studying datasets and the benefits of causality for understanding NLP models.

연구 동기 및 목표

• 훈련 코퍼스의 단순한 데이터 통계가 PLM의 사실적 예측에 원인적으로 영향을 미치는지 여부와 그 방식을 이해하는 것.
• 비용이 많이 드는 재학습을 피하고 관찰 데이터만으로도 원인적 추정이 가능한 원인인과 프레임워크를 개발하는 것.
• PLM가 답변을 생성할 때 깊은 사실적 추론 대신 얕은 히وري스틱(예: 동시출현 패턴)을 사용하는지 조사하는 것.
• 세 가지 특정 히وري스틱인 정확매칭, 패턴-객체 동시출현, 주어-목적어 동시출현이 모델 예측에 미치는 원인적 영향을 정량화하는 것.
• 모델 행동의 원인인과 분석을 위한 방법론적 기반을 제공하며, 이는 해석 가능성과 모델 일반화에 영향을 미침.

제안 방법

• 훈련 데이터 통계, 모델 가중치, 예측 간 상관관계를 표현하는 인과 그래프를 구축한다.
• do-계산법과 배경 기준을 적용하여 관찰 데이터에서 원인적 영향을 식별하고 추정함으로써 재학습을 통한 간섭이 필요 없도록 한다.
• 세 가지 가설 정의: 정확매칭(훈련 문장의 기억), 패턴-객체 동시출현(관계 패턴과 가장 자주 함께 나타나는 객체), 주어-목적어 동시출현(주어와 가장 자주 함께 나타나는 객체).
• 관계별로 평균 치료 효과(ATE)와 조건부 평균 치료 효과(CATE)를 추정하여 다양한 사실적 관계에서의 원인적 영향을 평가한다.
• 원인적 영향 추정치의 정당성을 검증하기 위해 히وري스틱(항상 히وري스틱에 기반해 예측) 및 완벽(오라클) 기준선을 사용한다.
• 커뮤니티 사용을 위해 84개 체크포인트를 포함한 새로운 RoBERTa-base 모델을 훈련하여 학습 동역학을 분석한다.

실험 결과

연구 질문

• RQ1 훈련 데이터의 동시출현 통계가 PLM의 사실적 예측에 얼마나 원인적으로 영향을 미치는가?
• RQ2 PLM가 깊은 의미적 이해 대신 주어-목적어 동시출현과 같은 얕은 히وري스틱에 의존하는가?
• RQ3 원인적 영향은 다양한 사실적 관계 간에 어떻게 달라지며, 영향 강도의 차이는 무엇에 기인하는가?
• RQ4 관찰 데이터에서의 원인인과 추론이 훈련 데이터 통계가 모델 행동에 미치는 영향을 신뢰성 있게 추정할 수 있는가?
• RQ5 관찰된 효과는 모델 학습에 기인한 것인지 단순한 통계적 오류일 뿐인가, 이를 어떻게 통제할 수 있는가?

주요 결과

• 주어-목적어 동시출현의 원인적 영향은 CATE 57.73에 이르며, 사실적 예측에 강력한 영향을 미친다는 것을 시사한다.
• 패턴-객체 동시출현 가설은 CATE 50.34를 기록하여 다양한 관계에서 뚜렷한 원인적 영향을 보였다.
• 정확매칭 가설은 종교 관계에서 CATE 42.00을 기록하여, 훈련 문장의 기억이 예측에 상당히 기여한다는 것을 보여준다.
• 모든 가설에서 가장 낮은 CATE 값은 거의 0에 가까워, 일부 관계에서는 히وري스틱이 원인적 영향을 거의 미치지 않는다는 것을 시사한다.
• 히وري스틱 기반 기준선은 설계상 100% ATE를 기록하여, 프레임워크가 히وري스틱 기반 행동을 정확히 식별한다는 것을 확인한다.
• 무작위 초기화된 모델은 근처 0에 가까운 원인적 영향을 보였으며(예: BERT-base의 -2.88), 이는 관측된 효과가 초기화 때문이 아니라 학습에 기인한다는 것을 확인한다.