[논문 리뷰] Simple but effective techniques to reduce biases.

Rabeeh Karimi Mahabadi, James H. Henderson|arXiv (Cornell University)|2019. 09. 13.

Topic Modeling인용 수 23

한 줄 요약

이 논문은 NLU 모델의 데이터셋 편향을 줄이기 위해 간단하고 모델에 종속되지 않는 방법을 제안한다. 이 방법은 편향 전용의 경량 모델을 훈련시켜 편향된 예시를 식별하고, 훈련 중 손실을 조정하여 이를 가중치를 낮춘다. 이 접근법은 도메인 외부 데이터셋에서의 강건성을 향상시켜, 각각 FEVER 대칭, HANS, SNLI 하드 세트에서 9.76, 5.45, 4.78점의 성능 향상을 달성한다.

ABSTRACT

There have been several studies recently showing that strong natural language understanding (NLU) models are prone to relying on unwanted dataset biases without learning the underlying task, resulting in models which fail to generalize to out-of-domain datasets, and are likely to perform poorly in real-world scenarios. We propose several learning strategies to train neural models which are more robust to such biases and transfer better to out-of-domain datasets. We introduce an additional lightweight bias-only model which learns dataset biases and uses its prediction to adjust the loss of the base model to reduce the biases. In other words, our methods down-weight the importance of the biased examples, and focus training on hard examples, i.e. examples that cannot be correctly classified by only relying on biases. Our approaches are model agnostic and simple to implement. We experiment on large-scale natural language inference and fact verification datasets and their out-of-domain datasets and show that our debiased models significantly improve the robustness in all settings, including gaining 9.76 points on the FEVER symmetric evaluation dataset, 5.45 on the HANS dataset and 4.78 points on the SNLI hard set. These datasets are specifically designed to assess the robustness of models in the out-of-domain setting where typical biases in the training data do not exist in the evaluation set.

연구 동기 및 목표

• NLU 모델이 일반화 가능한 작업 패턴을 학습하는 대신 편법적인 데이터셋 편향에 의존하는 문제를 해결하기 위해.
• 훈련 데이터의 편향이 성립하지 않는 도메인 외부 데이터셋에 대해 모델의 일반화 능력을 향상시키기 위해.
• 구조적 변경 없이도 강건성을 높일 수 있는 단순하고 모델에 종속되지 않는 방법을 개발하기 위해.
• 편향만으로는 해결할 수 없는 어려운 예시에 집중하여 진정된 이해 능력을 향상시키기 위해.
• 대규모 NLU 벤치마크에서 흔한 표면적인 통계적 신호에 대한 과도한 의존도를 줄이기 위해.

제안 방법

• 데이터셋 고유의 편향에만 기반해 레이블을 예측하는 경량의 편향 전용 모델을 훈련시킨다.
• 편향 모델의 예측 결과를 활용해 주 모델의 손실을 조정하여, 편향된 예시의 기여도를 낮춘다.
• 편향 모델이 올바르게 예측한 예시의 손실을 가중치를 낮추어, 어려운 예시에 더 초점을 맞춘다.
• 이 방법은 모델에 종속되지 않으며, 신경 기반 NLU 모델에 대해 최소한의 구현 오버헤드로 적용 가능하다.
• 이 접근법은 주 모델이 패턴 매칭이 아닌 진정한 이해이 필요한 예시에서 학습하도록 유도한다.
• 주 모델과 편향 모델을 함께 최적화하는 훈련 과정을 거치며, 편향 모델은 정규화 역할을 한다.

실험 결과

연구 질문

• RQ1 경량의 편향 전용 모델이 NLU 모델의 데이터셋 편향을 효과적으로 식별하고 완화할 수 있는가?
• RQ2 편향된 예시의 가중치를 낮추는 것이 도메인 외부 평가에 대한 일반화 능력을 향상시키는가?
• RQ3 편향 기반 분류에 저항하는 어려운 예시에 집중함으로써 모델의 강건성이 얼마나 향상되는가?
• RQ4 이러한 방법이 알려진 편향 문제를 포함한 다양한 NLU 벤치마크에서 얼마나 효과적인가?
• RQ5 이 방법은 아키텍처 수정 없이도 다양한 모델 아키텍처에 일반적으로 적용 가능한가?

주요 결과

• 편향 제거된 모델은 FEVER 대칭 평가 세트에서 9.76점의 성능 향상을 기록하여 강건성 향상이 뚜렷하게 나타났다.
• HANS 벤치마크에서 5.45점의 성능 향상이 관찰되어 도메인 외부의 적대적 예시에 대한 성능 향상이 확인되었다.
• SNLI 하드 세트에서 4.78점의 성능 향상이 얻어져 비틀림이 있는 비틀림이 없는 어려운 예시에서의 학습 능력 향상이 확인되었다.
• 편향이 평가 데이터에 존재하지 않는다고 해도, 이 방법은 테스트한 모든 도메인 외부 데이터셋에서 일반화 능력을 크게 향상시켰다.
• 이 방법은 모델에 종속되지 않기 때문에 다양한 NLU 작업과 모델 아키텍처에서 효과적이다.
• 경량 편향 모델은 허위 패턴을 성공적으로 식별하여 성능 저하 없이 효과적인 손실 조정이 가능했다.