[논문 리뷰] Explaining The Efficacy of Counterfactually Augmented Data

Divyansh Kaushik, Amrith Setlur외 2명|arXiv (Cornell University)|2020. 10. 05.

Topic Modeling참고 문헌 64인용 수 7

한 줄 요약

이 논문은 원인적 구조 프레임워크를 제안함으로써, 비인과적 특징에서의 노이즈가 비도메인 성능을 향상시키고, 인과적 특징에서의 노이즈가 성능을 저하시킨다는 원리에 따라, 반사적 증강 데이터(CAD)가 모델의 강건성과 도메인 간 일반화 능력을 향상시킨다고 설명한다. 실험적 검증 결과, CAD가 특정한 스파이크를 식별한 영역는 이러한 행동을 보이며, 이는 주의 메커니즘 또는 민감도 맵과는 달리 인과 신호를 포착하고 있음을 시사한다.

ABSTRACT

In attempts to produce ML models less reliant on spurious patterns in NLP datasets, researchers have recently proposed curating counterfactually augmented data (CAD) via a human-in-the-loop process in which given some documents and their (initial) labels, humans must revise the text to make a counterfactual label applicable. Importantly, edits that are not necessary to flip the applicable label are prohibited. Models trained on the augmented data appear, empirically, to rely less on semantically irrelevant words and to generalize better out of domain. While this work draws loosely on causal thinking, the underlying causal model (even at an abstract level) and the principles underlying the observed out-of-domain improvements remain unclear. In this paper, we introduce a toy analog based on linear Gaussian models, observing interesting relationships between causal models, measurement noise, out-of-domain generalization, and reliance on spurious signals. Our analysis provides some insights that help to explain the efficacy of CAD. Moreover, we develop the hypothesis that while adding noise to causal features should degrade both in-domain and out-of-domain performance, adding noise to non-causal features should lead to relative improvements in out-of-domain performance. This idea inspires a speculative test for determining whether a feature attribution technique has identified the causal spans. If adding noise (e.g., by random word flips) to the highlighted spans degrades both in-domain and out-of-domain performance on a battery of challenge datasets, but adding noise to the complement gives improvements out-of-domain, it suggests we have identified causal spans. We present a large-scale empirical study comparing spans edited to create CAD to those selected by attention and saliency maps. Across numerous domains and models, we find that the hypothesized phenomenon is pronounced for CAD.

연구 동기 및 목표

• 반사적 증강 데이터(CAD)의 성공이 허위 상관관계에 대한 의존도를 줄이는 데 기여하는 원인적 메커니즘을 설명하는 것.
• CAD로 편집된 특징이 원인적 관련성이 있는지, 노이즈 주입에 대한 반응을 테스트하여 조사하는 것.
• 주의 및 민감도 맵과 같은 특징 할당 방법이 CAD와 동일한 인과적 관련 스파이크를 식별하는지 평가하는 것.
• 인과적 특징과 비인과적 특징에 노이즈 주입이 도메인 내 및 도메인 간 설정에서 예측 가능한 성능 변화를 초래하는지 확인하는 것.
• 노이즈 주입에 따른 상대적 성능 저하를 활용해 인과적 스파이크 식별을 위한 진단 방법을 제안하고 검증하는 것.

제안 방법

• 인과적 특징과 비인과적 특징에 노이즈가 미치는 영향을 시뮬레이션하기 위해 선형 가우시안 원인 모델을 개발한다.
• 가설 제안: 인과적 특징에 노이즈를 주입하면 도메인 내 및 도메인 간 성능이 모두 저하되며, 비인과적 특징에 노이즈를 주입하면 도메인 내 성능은 저하되지만 도메인 간 성능은 향상된다.
• 인간이 식별한 근거, 주의, 민감도 맵에 의해 식별된 스파이크에 무작위 단어 뒤집기(노이즈)를 주입하여 이 가설을 실증적으로 검증한다.
• 노이즈를 주입한 데이터로 SVM, BiLSTM, BERT 등의 모델을 훈련하고, 도메인 내 및 도메인 간 테스트 세트에서 성능을 평가한다.
• 노이즈 주입 하에 CAD 데이터로 훈련된 모델과 다른 데이터 소스(예: Hu et al., Li et al.)에서 훈련된 모델의 성능 변화를 비교한다.
• TF-IDF 및 주의 기반 근거를 사용해 텍스트 내 핵심 토큰을 식별하고 훼손한 후 모델 행동의 변화를 측정한다.

실험 결과

연구 질문

• RQ1 반사적 증강 데이터(CAD)의 효과성 배후에 존재하는 원인적 구조는 무엇인가?
• RQ2 CAD가 식별한 스파이크에 노이즈를 주입하면 도메인 내 및 도메인 간 성능이 모두 저하되는가? 이는 인과적 특징에 기대하는 바이다.
• RQ3 비-CAD 스파이크에 노이즈를 주입하면 도메인 간 성능이 향상되는가? 이는 비인과적 특징에 대해 예측된 바이다.
• RQ4 주의 및 민감도 기반 특징 할당 방법은 CAD에 비해 인과적으로 관련된 스파이크를 얼마나 잘 식별하는가?
• RQ5 노이즈 주입 하에서의 상대적 성능 변화는 NLP 모델에서 인과적 스파이크 식별을 위한 진단 도구로 사용될 수 있는가?

주요 결과

• CAD 데이터로 훈련된 모델은 감성 분석에서 '공포'나 '로맨스'와 같은 허위 어휘에 대한 의존도를 크게 줄였으며, 수정된 데이터에서 성능이 SVM 기준으로 51.0%에서 87.3%로 향상되었다.
• 인간이 식별한 근거(즉, CAD 스파이크)에 노이즈를 주입하면 도메인 내 및 도메인 간 성능이 모두 저하되며, 이는 그 스파이크가 인과적 성격을 지닌다는 것을 확인한다.
• 비근거(비-CAD 스파이크)에 노이즈를 주입하면 도메인 간 성능이 도메인 내 성능 대비 향상되며, 이는 비인과적 특징이 도메인 간 설정에서 노이즈를 통해 유리할 수 있음을 지지한다.
• 노이즈 주입 하에서 성능 변화가 CAD로 식별된 스파이크에서는 뚜렷하게 나타나지만, 주의나 민감도 맵에 의해 선택된 스파이크에서는 그렇지 않아, CAD가 더 인과적 관련 특징을 식별하고 있음을 시사한다.
• CAD 데이터로 미세조정한 BERT는 수정된 테스트 세트에서 95.1%의 정확도를 기록했으며, 원본 데이터(88.5%)나 혼합 데이터(81.6%)로 훈련한 모델보다 우수한 도메인 간 일반화 능력을 보였다.
• SNLI 작업에서 CAD로 식별된 근거에 100% 노이즈를 주입하면 샘플 내 정확도가 90.0에서 69.7로 20.3포인트 하락했고, RP는 66.9에서 51.5로 15.4포인트 하락했으며, 이는 그 스파이크의 인과적 역할을 확인한다.