[논문 리뷰] Spread Spurious Attribute: Improving Worst-group Accuracy with Spurious Attribute Estimation

Junhyun Nam, Jaehyung Kim외 2명|arXiv (Cornell University)|2022. 04. 05.

Machine Learning and Data Classification인용 수 11

한 줄 요약

이 논문은 스파라스 속성-라벨이 부여된 샘플을 소량 활용하여 레이블이 없는 데이터에 대해 의사속성(피로-라벨)을 생성하고, 이를 통해 악성 그룹 손실 최소화를 효과적으로 수행함으로써 악성 그룹 정확도를 향상시키는 Spread Spurious Attribute (SSA) 방법을 제안한다. SSA는 여러 벤치마크에서 전체 레이블 데이터의 0.6%에서 1.5%만을 사용하여도 전체 지도학습 방법과 비교할 만한 성능을 달성한다.

ABSTRACT

The paradigm of worst-group loss minimization has shown its promise in avoiding to learn spurious correlations, but requires costly additional supervision on spurious attributes. To resolve this, recent works focus on developing weaker forms of supervision -- e.g., hyperparameters discovered with a small number of validation samples with spurious attribute annotation -- but none of the methods retain comparable performance to methods using full supervision on the spurious attribute. In this paper, instead of searching for weaker supervisions, we ask: Given access to a fixed number of samples with spurious attribute annotations, what is the best achievable worst-group loss if we "fully exploit" them? To this end, we propose a pseudo-attribute-based algorithm, coined Spread Spurious Attribute (SSA), for improving the worst-group accuracy. In particular, we leverage samples both with and without spurious attribute annotations to train a model to predict the spurious attribute, then use the pseudo-attribute predicted by the trained model as supervision on the spurious attribute to train a new robust model having minimal worst-group loss. Our experiments on various benchmark datasets show that our algorithm consistently outperforms the baseline methods using the same number of validation samples with spurious attribute annotations. We also demonstrate that the proposed SSA can achieve comparable performances to methods using full (100%) spurious attribute supervision, by using a much smaller number of annotated samples -- from 0.6% and up to 1.5%, depending on the dataset.

연구 동기 및 목표

• 악성 그룹 정확도 방법에서 스파라스 속성에 대한 전면 지도학습의 높은 비용 문제를 해결하기 위해.
• 제한된 수의 스파라스 속성-라벨이 부여된 샘플만 존재할 경우 악성 그룹 정확도를 향상시키기 위해.
• 라벨이 부여된 샘플을 극대한 활용함으로써 최소 지도학습으로도 전체 성능을 달성할 수 있는지 탐색하기 위해.
• 동일한 레이블링 예산 내에서 기존의 약한 지도학습 방법보다 뛰어난 성능을 내는 방법을 개발하기 위해.

제안 방법

• 레이블이 부여된 샘플과 레이블이 없는 샘플을 모두 활용하여 스파라스 속성 예측기를 훈련시어 레이블이 없는 데이터에 대해 의사속성을 생성한다.
• 의사라벨링 과정에서 군집별 적응형 임계치를 적용하여 다수 그룹 측면의 편향을 완화한다.
• 생성된 의사라벨이 부여된 데이터셋을 사용하여 악성 그룹 손실 최소화(예: Group DRO) 방식으로 강건한 모델을 훈련시킨다.
• 강건한 훈련 단계에서 하이퍼파라미터 튜닝을 위해 원본 레이블이 부여된 샘플을 재사용한다.
• 생성된 의사라벨 데이터셋을 기반으로 기존의 강건한 훈련 프레임워크(예: Group DRO, Correct-N-Contrast)를 활용한다.
• 의사라벨링 과정이 소수 그룹의 표현을 유지하여 분포 편향을 악화시키지 않도록 보장한다.

실험 결과

연구 질문

• RQ1 스파라스 속성-라벨이 부여된 데이터의 소수의 일부만을 사용하여도 전체 지도학습 악성 그룹 학습 성능과 유사한 성능을 달성할 수 있는가?
• RQ2 스파라스 상관관계가 존재하는 상황에서 제한된 수의 레이블이 부여된 샘플을 어떻게 최대한 활용하여 악성 그룹 정확도를 향상시킬 수 있는가?
• RQ3 적응형 임계치를 활용한 의사라벨링은 기존 방법 대비 소수 그룹 추정의 편향을 줄이는가?
• RQ4 다양한 벤치마크 데이터셋에서 스파라스 상관관계 패턴이 상이하더라도 제안된 방법이 일반화 가능한가?

주요 결과

• SSA는 다양한 데이터셋에서 스파라스 속성-라벨이 부여된 샘플의 0.6%에서 1.5%만을 사용하여 전체 지도학습 Group DRO와 비교할 만한 악성 그룹 정확도를 달성한다.
• CelebA에서 SSA는 182,637개의 샘플 중 993개의 레이블만을 사용하여 100% 지도학습 성능에 도달한다.
• MultiNLI에서 SSA는 288,637개의 샘플 중 4,123개의 레이블만을 사용하여 전체 지도학습 성능을 재현한다.
• SSA는 동일한 레이블링 예산(예: 5%) 내에서도 기준선 방법보다 일관되게 뛰어난 성능을 보인다.
• Correct-N-Contrast와 같은 다른 강건한 훈련 기법과 조합해도 성능이 높게 유지된다.
• 군집별 적응형 임계치의 사용은 특히 소수 그룹에 대한 의사라벨링의 편향을 크게 감소시킨다.