[논문 리뷰] Unlearn Dataset Bias in Natural Language Inference by Fitting the Residual

He He, Sheng Zha외 1명|arXiv (Cornell University)|2019. 08. 28.

Topic Modeling참고 문헌 46인용 수 18

한 줄 요약

이 논문은 자연어 추론(NLI)를 위한 디버이징 방법인 DRiFt를 제안한다. 이 방법은 편향된 모델의 잔차에 맞추어 학습시켜 데이터셋 편향을 제거하며, 특히 편향된 특징이 실패하는 어려운 예제들에 초점을 맞춘다. 이 접근법은 표준 벤치마크에서 강력한 성능을 유지하면서 도전 과제 데이터셋에서 성능을 향상시켜, 부정어와 같은 유사한 신호로 인한 분포 이탈에 대한 강건성을 입증한다.

ABSTRACT

Statistical natural language inference (NLI) models are susceptible to learning dataset bias: superficial cues that happen to associate with the label on a particular dataset, but are not useful in general, e.g., negation words indicate contradiction. As exposed by several recent challenge datasets, these models perform poorly when such association is absent, e.g., predicting that "I love dogs" contradicts "I don't love cats". Our goal is to design learning algorithms that guard against known dataset bias. We formalize the concept of dataset bias under the framework of distribution shift and present a simple debiasing algorithm based on residual fitting, which we call DRiFt. We first learn a biased model that only uses features that are known to relate to dataset bias. Then, we train a debiased model that fits to the residual of the biased model, focusing on examples that cannot be predicted well by biased features only. We use DRiFt to train three high-performing NLI models on two benchmark datasets, SNLI and MNLI. Our debiased models achieve significant gains over baseline models on two challenge test sets, while maintaining reasonable performance on the original test sets.

연구 동기 및 목표

• 표면적인 신호(예: 부정어)에 과도하게 의존하는 것과 같은 데이터셋 편향으로 인해 NLI 모델이 취약해지는 문제를 해결하기 위해.
• 시험 시점에서 편향된 특징이 예측 능력을 상실하는 분포 이탈 상황에서 데이터셋 편향을 레이블 이동 문제로 공식화하기 위해.
• 임의의 의미 정보를 유지하면서도 유사 상관관계에 대한 의존도를 줄이는 디버이징 방법을 개발하기 위해.
• 표준 벤치마크 성능이 저하되지 않도록, 분포 밖 및 도전 과제 테스트 세트에서의 일반화 능력을 향상시키기 위해.

제안 방법

• 훈련 데이터에서 레이블과 상관관계가 있는 표면적 특징(예: 어휘적 겹침, 부정어)만을 사용하여 편향된 모델을 훈련한다.
• 각 예제에 대해 편향된 모델의 예측과 진짜 레이블 간의 잔차 손실을 계산한다.
• 편향된 모델의 손실의 음의 기울기를 최소화하도록 디버이징된 모델을 훈련하며, 높은 잔차 손실을 보이는 예제들(즉, 어려운 예제들)에 집중한다.
• 디버이징된 모델을 추론에 사용하여, 편향을 제거하면서도 의미 이해 능력을 유지한다.
• SNLI 및 MNLI 데이터셋에서 세 가지 최신 SOTA NLI 모델(BERT, CBOW, DA)에 이 방법을 적용한다.
• 이전에 알려진 데이터셋 편향 정보(예: 부정어 연관성)를 활용하여 잔차 피팅 과정을 안내한다.

실험 결과

연구 질문

• RQ1 편향된 특징이 실패하는 예제들에 집중하여 모델을 훈련시켜 편향을 제거할 수 있는가?
• RQ2 잔차 피팅이 분포 밖 및 도전 과제 테스트 세트에서의 일반화 능력을 향상시키는가?
• RQ3 의미 정보의 잠재적 유용성을 제거하지 않고도 디버이징을 달성할 수 있는가?
• RQ4 이 방법은 다양한 모델 아키텍처와 NLI 벤치마크에서 어떻게 성능을 발휘하는가?

주요 결과

• DRiFt는 두 개의 도전 과제 세트(RTE 및 MultiNLI-Adv)에서 성능을 크게 향상시키지만, 표준 테스트 세트에서는 경쟁력 있는 정확도를 유지한다.
• 디버이징된 모델은 MultiNLI-Adv 테스트 세트에서 상당한 성과 향상을 보이며, 분포 이탈에 대한 강건성이 향상됨을 시사한다.
• DRiFt-CBOW로 디버이징된 모델은 분포 내 데이터에서 최소한의 성능 저하를 보이며, 의미 정보의 효과적인 유지가 가능함을 나타낸다.
• BERT 기반 모델은 분포 내 예제에서 성능 저하가 거의 없이, 높은 용량의 모델이 잔차 피팅을 통해 성능을 유지함을 보여주며 이점이 있음을 시사한다.
• 이 방법은 도전 과제 세트에서 최대 우도 추정 기반의 기준 모델보다 성능이 뛰어나, 데이터셋 편향을 효과적으로 완화함을 입증한다.