[논문 리뷰] Simple data balancing achieves competitive worst-group-accuracy

Badr Youbi Idrissi, Martín Arjovsky외 2명|arXiv (Cornell University)|2021. 10. 27.

Machine Learning and Data Classification참고 문헌 29인용 수 10

한 줄 요약

이 논문은 단순한 데이터 균형 조정—클래스 및 그룹에 대한 서브샘플링 또는 재가중 처리—을 통해 네 가지 벤치마크 데이터셋(CelebA, Waterbirds, MultiNLI, CivilComments)에서 최신 기준 worst-group-accuracy를 달성하며, gDRO나 JTT와 같은 복잡한 방법들을 능가함을 보여준다. 특히 서브샘플링은 최소한의 하이퍼파라미터 튜닝으로도 안정적인 성능을 유지하며 빠른 훈련이 가능하다.

ABSTRACT

We study the problem of learning classifiers that perform well across (known or unknown) groups of data. After observing that common worst-group-accuracy datasets suffer from substantial imbalances, we set out to compare state-of-the-art methods to simple balancing of classes and groups by either subsampling or reweighting data. Our results show that these data balancing baselines achieve state-of-the-art-accuracy, while being faster to train and requiring no additional hyper-parameters. In addition, we highlight that access to group information is most critical for model selection purposes, and not so much during training. All in all, our findings beg closer examination of benchmarks and methods for research in worst-group-accuracy optimization.

연구 동기 및 목표

• 공통적으로 사용되는 worst-group-accuracy 벤치마크가 모델 성능에 영향을 주는 데이터 불균형을 암시하는가를 조사하는 것.
• worst-group-accuracy 최적화에서 단순한 데이터 균형 조정 기법(서브샘플링 및 재가중 처리)이 최신 기준 방법들과 경쟁 가능한 성능을 내는가를 평가하는 것.
• 약한 지도 학습 환경에서 속성 정보가 훈련 단계와 모델 선택 단계 중 어느 시점에서 더 중요하게 작용하는지 규명하는 것.
• 더 많은 데이터가 항상 worst-group 성능을 향상시킨다는 가정을 도전하는 것—특히 분포 이탈 상황에서 그러한 가정이 타당한가를 검토하는 것.

제안 방법

• 저자들은 클래스 및 그룹 불균형 여부를 분석하기 위해 네 가지 표준 worst-group-accuracy 벤치마크(CelebA, Waterbirds, MultiNLI, CivilComments)를 대상으로 분석한다.
• 클래스 수준의 서브샘플링(SUBY)과 그룹 수준의 서브샘플링(SUBG), 그리고 재가중 처리 방법(RWY, RWG)을 통해 클래스 및 그룹 분포를 균형 잡는다.
• 모든 모델은 표준 딥러닝 파이프라인을 사용하여 훈련되며, 평가 기준은 모든 그룹에 대한 worst-group-accuracy에 집중된다.
• 장기간의 훈련 세션 동안 성능을 비교하여 안정성과 정규화 하이퍼파라미터에 대한 민감도를 평가한다.
• 선형 모델을 통해 재가중 처리와 서브샘플링 간의 차이를 설명하는 이론적 통찰을 도출한다. 특히 정규화와의 상호작용에 초점을 맞춘다.
• 다양한 데이터셋과 모델(Erm, gDRO, JTT, 제안된 기준 모델 포함)을 대상으로 실증적 비교를 수행한다.

실험 결과

연구 질문

• RQ1 일반적으로 사용되는 worst-group-accuracy 벤치마크에서 클래스 및 그룹 불균형이 심각하게 존재하여 모델 성능에 영향을 미치는가?
• RQ2 서브샘플링 및 재가중 처리와 같은 단순한 데이터 균형 조정 기법이 최신 기준 방법들과 경쟁 가능한 worst-group-accuracy를 달성할 수 있는가?
• RQ3 약한 지도 학습 환경에서 속성 정보는 훈련 단계보다 모델 선택 단계에서 더 중요한가?
• RQ4 재가중 처리와 서브샘플링은 장기간의 훈련 세션 동안 모델 일반화 및 강건성에 어떤 영향을 미치는가?
• RQ5 현재의 벤치마크는 실제 분포 이탈 문제를 반영하고 있는가, 아니면 단순한 데이터 균형 조정으로 해결 가능한가?

주요 결과

• 단순한 그룹 수준의 서브샘플링(SUBG)이 네 가지 모두의 벤치마크에서 최신 기준 worst-group-accuracy를 달성하며, gDRO나 JTT와 같은 복잡한 방법들을 능가한다.
• 서브샘플링 기법(SUBY 및 SUBG)은 장기간의 훈련 세션 동안 더 안정적인 성능를 보이며, 재가중 처리 기반 방법(RWY, RWG, gDRO)은 초반 피크 이후 성능이 저하된다.
• 재가중 처리 기반 방법은 우수한 성능를 내기 위해 강한 정규화가 필요하지만, 서브샘플링은 정규화 없이도 성능를 유지하여 최적화 행동에 근본적인 차이가 있음을 시사한다.
• CelebA에서 가장 뛰어난 성능를 보인 재가중 처리 모델(RWG)는 단지 3 에포크 만에 중단되었는데, 이는 중복 허용 샘플링을 통해 다수 그룹이 효과적으로 서브샘플링된 것으로 해석할 수 있다.
• 서브샘플링은 훈련 속도가 빠르며, 정규화 하이퍼파라미터에 덜 민감하고, 재가중 처리나 복잡한 기준 모델보다 하이퍼파라미터 탐색에 더 적합하다.
• 결과적으로 더 많은 데이터가 항상 worst-group 성능을 향상시킨다는 가정을 도전하며, 특히 데이터가 불균형한 경우 그러한 가정이 타당하지 않음을 시사한다.