[논문 리뷰] Don't Take the Easy Way Out: Ensemble Based Methods for Avoiding Known Dataset Biases

Christopher Clark, Mark Yatskar외 1명|arXiv (Cornell University)|2019. 09. 09.

Multimodal Machine Learning Applications참고 문헌 58인용 수 30

한 줄 요약

이 논문은 알려진 데이터셋 편향을 완화함으로써 모델의 강건성을 향상시키기 위해 앙상블 기반 방법을 제안한다. 표면적인 패턴을 포착하기 위해 편향 전용 모델을 훈련한 후, 이를 강건한 모델과 앙상블하여 보다 일반화 가능한 전략을 학습시키며, 이로써 도메인을 초월하는 VQA 벤치마크에서 최대 12포인트의 성능 향상을 달성하고, 다섯 가지 다양한 데이터셋에서 일관된 성능 향상을 보였다.

ABSTRACT

State-of-the-art models often make use of superficial patterns in the data that do not generalize well to out-of-domain or adversarial settings. For example, textual entailment models often learn that particular key words imply entailment, irrespective of context, and visual question answering models learn to predict prototypical answers, without considering evidence in the image. In this paper, we show that if we have prior knowledge of such biases, we can train a model to be more robust to domain shift. Our method has two stages: we (1) train a naive model that makes predictions exclusively based on dataset biases, and (2) train a robust model as part of an ensemble with the naive one in order to encourage it to focus on other patterns in the data that are more likely to generalize. Experiments on five datasets with out-of-domain test sets show significantly improved robustness in all settings, including a 12 point gain on a changing priors visual question answering dataset and a 9 point gain on an adversarial question answering test set.

연구 동기 및 목표

• 학습 데이터 내에서 표면적이고 일반화되지 않는 패턴에 의존하는 신경망 모델이 도메인 이동 상황에서 실패하는 문제를 해결하기 위해.
• 편향된 패턴이 더 이상 성립하지 않는 도메인을 초월하는 및 악성 테스트 세트에서 모델의 강건성을 향상시키기 위해.
• 인간이 식별한 데이터셋 편향을 활용하여 이러한 편향에 의존하지 않고 더 잘 일반화하는 모델을 훈련시키기 위해.
• 주 모델이 대체 전략을 학습하도록 유도하는 앙상블 훈련 프레임워크를 개발하기 위해.
• 다양한 작업, 즉 텍스트 함의, 독해력 테스트, 시각 질문 응답 등에 걸쳐 여러 편향-강건성 벤치마크를 활용해 방법을 평가하기 위해.

제안 방법

• 편향과 관련된 입력 특성(예: 키워드 존재 여부 또는 질문 유형 사전 확률)만을 사용하여 알려진 데이터셋 편향을 악용하는 편향 전용 모델을 훈련한다.
• 이 사전 훈련된 편향 전용 모델을 훈련 중에 강건한 모델과 함께 앙상블 구성 요소로 사용한다.
• 예측을 조합하기 위해 제품-전문가 또는 학습된 혼합 기법을 적용하며, 강건한 모델이 편향 전용 모델의 행동을 반복하지 않도록 유도한다.
• 학습된 혼합 기법에 엔트로피 정규화 페널티를 통합하여 모델이 편향 전용 구성 요소에 과도하게 의존하지 않도록 한다.
• 추론 시에는 오직 강건한 모델의 예측만을 사용하여, 편향 전용 구성 요소의 영향을 받지 않도록 한다.
• 도메인 이동 상황에서의 강건성 평가를 위해 합성 및 실제 도메인의 도전 과제 데이터셋(예: VQA-CP, TriviaQA-CP, HANS, 악성 SQuAD)을 구축한다.

실험 결과

연구 질문

• RQ1 훈련 중에 알려진 데이터셋 편향을 명시적으로 모델링하고 제거함으로써 도메인 이동에 대한 모델 강건성을 향상시킬 수 있는가?
• RQ2 편향 전용 모델과 함께 강건한 모델을 앙상블 훈련하면 표준 훈련 방식보다 더 나은 일반화 성능을 달성할 수 있는가?
• RQ3 예를 들어 제품-전문가 기법 대비 엔트로피 정규화를 통한 학습된 혼합 기법 등 다양한 앙상블 전략은 편향 완화에 얼마나 효과적인가?
• RQ4 이 방법은 다양한 NLP 및 비전 작업, 다양한 유형의 알려진 편향을 가진 데이터셋에 얼마나 일반화될 수 있는가?
• RQ5 다양한 편향 유형과 데이터셋에 따라 도메인 내 성능와 도메인을 초월하는 강건성 사이의 상충 관계는 어떻게 달라지는가?

주요 결과

• 엔트로피 정규화를 통한 학습된 혼합 앙상블 기법이 가장 뛰어난 성능을 보였으며, VQA-CP 데이터셋에서 도메인을 초월하는 정확도를 최대 12포인트 향상시켰다.
• 악성 SQuAD 벤치마크에서 이 방법은 강력한 기준 모델보다 9포인트의 성능 향상을 기록했으며, 이는 이전 연구를 크게 능가하는 성능이었다.
• TriviaQA-CP에서 인물 중심 테스트 세트에서는 6포인트의 성능 향상, 위치 중심 세트에서는 4.5포인트의 성능 향상을 기록했으며, 도메인 내 성능 저하가 최소한이었다.
• 편향 제품 기법은 일관되지만 중간 정도의 성능 향상을 보였고, 재가중 기반 기준 모델은 대부분의 데이터셋에서 덜 효과적이었다.
• 엔트로피 페널티를 통한 학습된 혼합 기법은 편향 전용 모델에 대한 의존도를 감소시켰으며, 평균 g(x_i) 값이 5.01에서 0.25로 감소하여 효과적인 분리가 이루어졌음을 시사했다.
• 이 방법은 합성, 악성, 우선순위가 변화하는 벤치마크를 포함한 다섯 가지 다양한 데이터셋에서 효과적이었으며, 광범위한 적용 가능성을 입증했다.