[논문 리뷰] Learning from others' mistakes: Avoiding dataset biases without modeling them

Victor Sanh, Thomas Wolf외 2명|arXiv (Cornell University)|2020. 12. 02.

Topic Modeling참고 문헌 48인용 수 51

한 줄 요약

이 논문은 약하고 편향된 교사(작은 모델)를 전문가의 곱셈점 구(framework)로 활용하여 주 모델이 교사의 오류에서 학습하도록 하여 편향을 명시적으로 모델링하지 않고도 강건한 주 모델을 학습시키고, NLP 태스크 전반에서 분포 간(out-of-distribution) 강건성을 향상시킨다.

ABSTRACT

State-of-the-art natural language processing (NLP) models often learn to model dataset biases and surface form correlations instead of features that target the intended underlying task. Previous work has demonstrated effective methods to circumvent these issues when knowledge of the bias is available. We consider cases where the bias issues may not be explicitly identified, and show a method for training models that learn to ignore these problematic correlations. Our approach relies on the observation that models with limited capacity primarily learn to exploit biases in the dataset. We can leverage the errors of such limited capacity models to train a more robust model in a product of experts, thus bypassing the need to hand-craft a biased model. We show the effectiveness of this method to retain improvements in out-of-distribution settings even if no particular bias is targeted by the biased model.

연구 동기 및 목표

• 약한 학습자가 명시적 편향 설계 없이 데이터셋 편향을 자연스럽게 포착한다는 것을 보여준다.
• PoE 학습 체계가 편향 의존성을 줄이고 OOD 강건성을 개선할 수 있음을 입증한다.
• 약한 학습자의 용량과 분포 내/분포 외 성능 간의 트레이드오프를 탐구한다.
• NLI(MNLI/HANS) 및 QA(SQuAD) 벤치마크와 합성 편향 시나리오에서 접근법을 검증한다.

제안 방법

• 데이터에 대해 표준 교차 엔트로피로 약한 학습자 f_W를 학습한다.
• f_W를 고정하고 PoE 결합을 사용하는 주 모델 f_M을 학습한다: e = w + m, 여기서 softmax(e) ∝ softmax(w) ⊙ softmax(m).
• 약한 학습자의 실수에서 학습과 표준 예측 간의 균형을 맞추기 위해 CE와 PoE CE를 결합한 다중 손실 objective를 최적화한다.
• 약한 학습자의 용량을 변화시켜 분포 내/분포 외 성능에 미치는 영향을 연구한다.
• 적대적/바이어스 제거 데이터셋(MNLI-HANS, Adversarial SQuAD 등)에서 강건성을 평가하고 편향 감소 상관관계를 분석한다.
• 약한 학습자의 확실성과 정확성이 주 모델의 그래디언트를 형성하는 역할을 논의한다.

실험 결과

연구 질문

• RQ1 약한 편향 모델이 명시적 편향 지정 없이 데이터셋 편향을 드러낼 수 있는가?
• RQ2 고정된 약한 학습자를 가진 PoE로 주 모델을 학습하면 분포 간 일반화가 향상되며 ID 성능에 심각한 악영향이 없는가?
• RQ3 약한 학습자 용량이 태스크 간 편향 완화 및 강건성의 트레이드오프에 어떤 영향을 미치는가?
• RQ4 손으로 편향된 모델 없이 알려진 편향 신호(또는 미지의 편향) 의존도를 줄일 수 있는가?

주요 결과

손실	MNLI	HANS	난이도
Clark 등(2019) PoE	82.97	64.67	71.16
Mahabadi 등(2020) PoE	84.19	95.99	33.30
Utama 등(2020) PoE	80.70	86.13	55.20
Utama 등(2020) PoE + An.	81.90	88.40	47.13
BERT-base - CE (기준값)	84.52 ± 0.27	98.12 ± 0.62	26.74 ± 6.15
TinyBERT - 약한 학습자 - CE	66.93 ± 0.12	99.80 ± 0.09	0.44 ± 0.26
BERT-base - 메인 - PoE	81.35 ± 0.40	81.13 ± 8.10	56.41 ± 5.91
BERT-base - 메인 - PoE + CE	83.32 ± 0.24	94.51 ± 0.82	41.35 ± 8.25

• 약한 학습자는 얕은 휴리스틱과 편향된 고확신 오류에 의존하는 경향이 있어 알려진 데이터셋 편향을 반영한다.
• PoE 학습은 약한 학습자의 편향 의존도를 줄이고 분포 외 성능을 개선하되 분포 내 정확도에서 약간의 트레이드오프가 발생한다.
• MNLI/HANS에서 PoE 기반 주 모델은 휴리스틱-비-타당한 사례를 다루는 데서 눈에 띄는 이점을 얻되 MNLI 성능은 경쟁력을 유지한다.
• Adversarial SQuAD 벤치마크에서 PoE(CE 여부와 무관하게) 적대적 강건성을 개선하며, 다중 손실 최적화 사용 시 더 큰 향상을 보이는 경우가 있다.
• 약한 학습자의 용량 변화는 더 작은 약한 학습자가 OD/ID 간의 균형 성능을 선호하는 반면, 더 큰 약한 학습자는 ID 정확도 희생으로 OD 강건성을 높일 수 있음을 시사한다.