[논문 리뷰] There is Strength in Numbers: Avoiding the Hypothesis-Only Bias in Natural Language Inference via Ensemble Adversarial Training.

Joe Stacey, Pasquale Minervini외 3명|arXiv (Cornell University)|2020. 04. 16.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 다수의 적대적 분류기와 함께 최적화하여 자연어 추론(NLI)에서 가설 중심 편향을 완화하기 위해 앙상블 적대적 훈련을 제안한다. 이는 임의의 상관관계를 감소시키며, 12개의 테스트 NLI 데이터셋에서 zero-shot 일반화 성능을 향상시킨다. 높은 차원의 표현을 사용할수록 더 많은 적대적 분류기를 사용할 경우 성능이 향상된다.

ABSTRACT

Natural Language Inference (NLI) datasets contain annotation artefacts resulting in spurious correlations between the natural language utterances and their respective entailment classes. These artefacts are exploited by neural networks even when only considering the hypothesis and ignoring the premise, leading to unwanted biases. Previous work proposed tackling this problem via adversarial training, but this leads to learned sentence representations that still suffer from the same biases. As a solution, we propose using an ensemble of adversaries during the training, encouraging the model to jointly decrease the accuracy of these different adversaries while fitting the data. We show that using an ensemble of adversaries can prevent the bias from being relearned after the model training is completed, further improving how well the model generalises to different NLI datasets. In particular, these models outperformed previous approaches when tested on 12 different NLI datasets not used in the model training. Finally, the optimal number of adversarial classifiers depends on the dimensionality of the sentence representations, with larger dimensional representations benefiting when trained with a greater number of adversaries.

연구 동기 및 목표

• 훈련 데이터의 annotation 예술물에서 유래한 신경망 NLI 모델이 유사 상관관계를 학습하는 지속적인 문제를 해결한다.
• 기존의 적대적 훈련 방법이 모델이 훈련 후 동일한 편향을 재학습하기 때문에 편향을 완전히 제거하지 못하는 한계를 극복한다.
• 다수의 적대적 분류기의 정확도를 동시에 최소화함으로써, 분포 외 NLI 데이터셋에 대한 모델 일반화 능력을 향상시킨다.
• 표현 차원과 최적의 적대적 분류기 수 사이의 관계를 조사한다.

제안 방법

• 가설에만 기반해 추론 레이블을 예측하도록 특별히 설계된 다수의 적대적 분류기와 함께 주요 NLI 모델을 동시에 훈련한다.
• 모든 앙상블 적대적 분류기의 정확도를 동시에 최소화함으로써, 주요 모델이 견고하고 전제에 의존하는 표현을 학습하도록 최적화한다.
• 훈련 중에 기울기 기반 업데이트를 적대적 분류기에게 적용하여, 주요 모델이 이를 속이기 어려운 상태를 유지한다.
• 적대적 분류기의 수를 제어하는 하이퍼파라미터를 도입하며, 성능은 문장 표현의 차원에 따라 달라진다.
• 추론 또는 추론 시 처리를 수정하지 않고, NLI 모델 훈련 전 과정에서 메서드를 종단 간(end-to-end)으로 적용한다.
• 주요 모델이 가설 특성에 의존하기보다 전제 특성에 의존하도록 하기 위해, 적대적 분류기 성능을 함께 최소화한다.

실험 결과

연구 질문

• RQ1 단일 적대적 분류기 접근 방식과 비교해 앙상블 적대적 훈련이 NLI 모델의 가설 중심 편향을 효과적으로 줄일 수 있는가?
• RQ2 다수의 적대적 분류기와 함께 최적화하면, 볼 수 없었던 NLI 데이터셋에서 더 나은 zero-shot 일반화 성능을 달성할 수 있는가?
• RQ3 적대적 분류기의 수가 문장 표현의 차원과 어떻게 상호작용하여 편향 완화 효과에 영향을 미치는가?
• RQ4 앙상블 적대적 훈련을 사용한 후, 훈련이 완료된 후 모델이 annotation 예술물에 대해 강건성을 유지할 수 있는가?

주요 결과

• 훈련 중에 볼 수 없었던 12개의 NLI 데이터셋에서 앙상블 적대적 훈련을 통해 훈련된 모델이 이전 방법보다 뛰어난 성능을 보였다.
• 이 방법은 가설 중심 신호에 대한 의존도를 성공적으로 감소시켜, 훈련 후 동일한 편향을 재학습하는 것을 방지했다.
• 높은 차원의 문장 표현은 더 많은 수의 적대적 분류기를 통해 이득을 보였으며, 표현 용량과 앙상블 크기 사이에 양의 상관관계가 있음을 시사했다.
• 이 방법은 개선된 zero-shot 일반화 성능을 달성하여 다양한 NLI 벤치마크 데이터셋에서 강건성을 입증했다.