[논문 리뷰] Simple and Fast Group Robustness by Automatic Feature Reweighting

Shikai Qiu, Andres Potapczynski외 2명|arXiv (Cornell University)|2023. 06. 19.

Machine Learning and Data Classification인용 수 4

한 줄 요약

이 논문은 자동 특징 재가중(Automatic Feature Reweighting, AFR)을 제안하며, 기존의 ERM 모델의 최종 레이어를 재학습하여 낮은 성능을 보이는 예측에 초점을 맞춘 가중 손실을 사용함으로써 기계학습에서 그룹에 대한 강건성을 향상시키는 간단하고 효율적인 방법을 제공한다. AFR는 수단적 특성 레이블이나 상당한 계산 부담 없이도 Waterbirds 및 MultiNLI와 같은 시각 및 NLP 벤치마크에서 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

A major challenge to out-of-distribution generalization is reliance on spurious features -- patterns that are predictive of the class label in the training data distribution, but not causally related to the target. Standard methods for reducing the reliance on spurious features typically assume that we know what the spurious feature is, which is rarely true in the real world. Methods that attempt to alleviate this limitation are complex, hard to tune, and lead to a significant computational overhead compared to standard training. In this paper, we propose Automatic Feature Reweighting (AFR), an extremely simple and fast method for updating the model to reduce the reliance on spurious features. AFR retrains the last layer of a standard ERM-trained base model with a weighted loss that emphasizes the examples where the ERM model predicts poorly, automatically upweighting the minority group without group labels. With this simple procedure, we improve upon the best reported results among competing methods trained without spurious attributes on several vision and natural language classification benchmarks, using only a fraction of their compute.

연구 동기 및 목표

• 실세계 데이터셋에서 수단적 특성에 의존함으로써 발생하는 분포 외 일반화 문제를 해결하기 위해.
• 그룹 레이블이나 복잡한 학습 절차 없이도 그룹 강건성을 향상시키는 방법을 개발하기 위해.
• 성능을 유지하거나 향상시키면서 소수 그룹에 대한 계산 부담을 줄이기 위해.
• 초파rameter 선택에 대해 강건하고 다양한 시각 및 NLP 벤치마크에 적용 가능한 방법을 만들기 위해.

제안 방법

• AFR는 사전 학습된 ERM 모델의 최종 레이어만 재학습하며, 가중 손실 함수를 사용한다.
• 예제 가중치는 첫 번째 단계의 ERM 체크포인트에서 모델이 정답 클래스에 대해 예측한 확률의 역수에 의해 결정된다.
• 클래스에 따라 다른 상수로 스케일링하여 클래스 불균형을 해결하며, 그 형태는 μ_i ∝ β_{y_i} exp(−γ p̂_i)이다.
• 그룹 레이블을 사용하지 않고도 소수 그룹 예측을 자동으로 강조하기 위해 저신뢰도 예측을 가중함으로써, 소수 그룹 예제를 강조한다.
• 그룹 레이블이 필요 없도록, 학습 분포에서의 검증 데이터셋에 적용된다.
• AFR는 계산적으로 효율적이며, 경쟁 방법들에 비해 학습 시간의 일부분만 소요된다.

실험 결과

연구 질문

• RQ1 수단적 특성 레이블에 접근할 수 없는 간단하고 경량의 방법이 그룹 강건성을 향상시킬 수 있는가?
• RQ2 모델의 불확실성(낮은 예측 신뢰도)이 소수 그룹 예제를 식별하고 우선순위를 정하는 데 사용될 수 있는가?
• RQ3 그룹 레이블이나 복잡한 학습 절차를 요구하는 최신 기술 방법과 비교해 AFR는 어떻게 성능을 내는가?
• RQ4 실제로 AFR는 초파rameter 선택에 얼마나 강건한가?
• RQ5 소수의 레이블만 이용 가능한 상황에서, 그룹 레이블을 사용하는 방법보다 AFR이 성능을 뛰어넘을 수 있는가?

주요 결과

• AFR는 학습 중에 수단적 특성 레이블을 사용하지 않는 방법들 중에서 Waterbirds 벤치마크에서 최고의 악성 그룹 정확도를 달성한다.
• MultiNLI에서 AFR는 그룹 강건성을 확보한 방법들 중에서 그룹 레이블에 접근할 수 없는 최고의 보고된 성능을 향상시킨다.
• 소수의 그룹 레이블만 이용 가능한 상황에서, 그룹 레이블을 사용하는 최신 기술 방법보다 AFR이 성능을 뛰어넘는다.
• AFR는 초파라미터 선택에 대해 강건하며, 정교한 튜닝 없이도 그룹 강건성을 향상시킬 수 있다.
• 신경망이 학습한 최적의 가중 함수는 AFR의 지수 형태와 매우 유사하여, 설계 선택의 타당성을 검증한다.
• AFR의 계산 부담은 무시할 수 없으며, 기준 방법들에 비해 학습 시간의 일부분만 소요된다.