[논문 리뷰] Adversarial Filters of Dataset Biases

Ronan Le Bras, Swabha Swayamdipta외 5명|arXiv (Cornell University)|2020. 02. 10.

Adversarial Robustness in Machine Learning인용 수 125

한 줄 요약

이 논문은 데이터셋 편향을 제거하여 잘못된 상관관계를 줄이고 OOD 일반화를 개선하는 모델 기반의 반복 필터링 방법 AFLite를 분석합니다. 주요 벤치마크에서 인-디스트리뷰션 성능을 상당히 낮추는 한편, 인간 성능은 비교적 높게 유지됩니다.

ABSTRACT

Large neural models have demonstrated human-level performance on language and vision benchmarks, while their performance degrades considerably on adversarial or out-of-distribution samples. This raises the question of whether these models have learned to solve a dataset rather than the underlying task by overfitting to spurious dataset biases. We investigate one recently proposed approach, AFLite, which adversarially filters such dataset biases, as a means to mitigate the prevalent overestimation of machine performance. We provide a theoretical understanding for AFLite, by situating it in the generalized framework for optimum bias reduction. We present extensive supporting evidence that AFLite is broadly applicable for reduction of measurable dataset biases, and that models trained on the filtered datasets yield better generalization to out-of-distribution tasks. Finally, filtering results in a large drop in model performance (e.g., from 92% to 62% for SNLI), while human performance still remains high. Our work thus shows that such filtered datasets can pose new research challenges for robust generalization by serving as upgraded benchmarks.

연구 동기 및 목표

• 데이터셋 편향이 모델 성능을 과대평가하게 만드는 문제를 제시한다.
• 최적의 편향 감소를 위한 이론적 프레임워크와 실용적 근사치를 제공한다.
• NLP 및 비전 태스크 전반에서 AFLite를 실증적으로 검증한다.
• 필터링 편향이 인디스트리뷰션 대비 아웃-오브-디스트리뷰션 성능에 어떤 영향을 미치는지 보여준다.

제안 방법

• 형식적 표현-편향 목표를 정의하고 AFOpt를 이상적이지만 다루기 어려운 편향 감소 타깃으로 제시한다.
• 고려 AFLite를 확장 가능한 근사로 도입하여 예측 가능도 점수 p(i)를 사용해 높은 예측 가능 인스턴스를 반복적으로 제거한다.
• 데이터의 임의 분할에서 학습된 모델의 외부 샘플 예측을 통해 p(i)를 계산한다.
• 크게 탐욕적 슬라이싱 절차를 사용하여 매 반복마다 상위 k 개의 p(i) 인스턴스를 제거하고 크기 n 이나 조기 중단 τ에 도달할 때까지 수행한다.
• 미리 계산된 특징 표현 Φ(X)와 모델 패밀리 M을 적용하여 예측 가능성을 추정한다.
• SNLI, MultiNLI, QNLI, ImageNet를 포함한 NLP 및 비전 벤치마크에서 이 접근법을 시연한다.

실험 결과

연구 질문

• RQ1 AFLite가 명시적으로 알려진 인위적 편향을 넘어서는 데이터셋 편향을 신뢰할 수 있게 제거할 수 있는가?
• RQ2 AFLite로 필터링된 데이터로 학습된 모델이 인디스트리뷰션 태스크에서 일반화가 더 잘 되는가?
• RQ3 NLP 및 비전 데이터셋 전반에서 AFLite가 인디스트리뷰션 벤치마크 성능에 어떤 영향을 미치는가?
• RQ4 다양한 특징 표현 및 모델 패밀리에서 AFLite의 강건성은 어떠한가?

주요 결과

• AFLite가 감지 가능한 데이터셋 편향을 줄이고 벤치마크를 모델에게 더 어렵게 만드는 반면, 인간의 성능은 비교적 높게 유지됩니다.
• AFLite로 필터링된 데이터로 학습된 모델은 HANS, NLI Diagnostics, Stress tests, Adversarial NLI와 같은 아웃-오브-디스트리뷰션 태스크에서 일반화가 향상됩니다.
• SNLI에서 AFLite로 필터링된 데이터는 인도메인 모델 정확도를 급격히 낮추는 반면(예: 강한 모델의 경우 90대 중후반에서 약 60대 초반으로), 인간 성능은 여전히 높게 유지됩니다.
• NLP에서 AFLite는 RoBERTa, BERT, ESIM+GloVe 베ース라인에서 인도메인 정확도를 낮추어 편향되었지만 쉽지만 편향된 예제를 제거했음을 시사합니다.
• 비전 영역에서 AFLite로 필터링된 ImageNet 데이터를 사용한 학습은 표준 검증에서의 큰 인도 내 하락에도 불구하고 적대적 Out-of-Distribution 세트에서 절대적으로 최대 약 2%의 이익을 얻습니다.