[논문 리뷰] BARACK: Partially Supervised Group Robustness With Guarantees

Nimit S. Sohoni, Maziar Sanjabi외 5명|arXiv (Cornell University)|2021. 12. 31.

Adversarial Robustness in Machine Learning인용 수 8

한 줄 요약

이 논문은 부분적 그룹 레이블을 활용하여 기계학습에서 최악의 그룹에 대한 강건성을 향상시키는 두 단계 프레임워크인 Barack을 제안한다. 첫 번째 단계에서, 레이블이 없는 데이터에 대해 누락된 그룹 레이블을 예측하는 모델을 훈련한다. 두 번째 단계에서, 이러한 예측 레이블을 그룹 분포로 불안정성 최소화(GDRO) 목적함수에 활용한다. 이 방법은 전체 레이블이 있는 경우와 유사한 성능을 1–33%의 그룹 레이블만으로도 달성하며, 이는 이론적 일반화 경계와 다양한 벤치마크에서의 실험적 검증을 통해 뒷받침된다.

ABSTRACT

While neural networks have shown remarkable success on classification tasks in terms of average-case performance, they often fail to perform well on certain groups of the data. Such group information may be expensive to obtain; thus, recent works in robustness and fairness have proposed ways to improve worst-group performance even when group labels are unavailable for the training data. However, these methods generally underperform methods that utilize group information at training time. In this work, we assume access to a small number of group labels alongside a larger dataset without group labels. We propose BARACK, a simple two-step framework to utilize this partial group information to improve worst-group performance: train a model to predict the missing group labels for the training data, and then use these predicted group labels in a robust optimization objective. Theoretically, we provide generalization bounds for our approach in terms of the worst-group performance, which scale with respect to both the total number of training points and the number of training points with group labels. Empirically, our method outperforms the baselines that do not use group information, even when only 1-33% of points have group labels. We provide ablation studies to support the robustness and extensibility of our framework.

연구 동기 및 목표

• 그룹 레이블이 비용이 많이 들거나 가용하지 않을 때 신경망에서 최악의 그룹 성능이 열 劣하는 문제를 해결하기 위해.
• 완전 supervision 기반의 강건 훈련과 unsupervised 방법 간의 성능 격차를 최소한의 그룹 레이블을 활용하여 줄이기 위해.
• 레이블이 있는 점의 수와 전체 데이터의 수에 따라 스케일링되는 최악의 그룹 일반화에 대한 이론적 보장을 제공하기 위해.
• 부분적 supervision이 전혀 그룹 정보를 사용하지 않는 방법보다 강건성이 크게 향상됨을 경험적으로 검증하기 위해.

제안 방법

• 가용한 그룹 레이블이 있는 데이터의 부분집합에서 그룹 분류기를 훈련하여, 나머지 레이블이 없는 데이터의 그룹 정체성을 예측한다.
• 첫 번째 단계에서 예측한 그룹 레이블을 두 번째 단계에서 pseudo-label로 사용하여, 그룹 분포로 불안정성 최소화(GDRO) 목적함수를 활용해 모델을 훈련한다.
• 이론적 분석을 통해 레이블이 있는 점의 수와 전체 데이터의 수에 따라 의존하는 최악의 그룹 성능에 대한 일반화 경계를 유도한다.
• 그룹 분류기의 품질을 향상시키기 위해, 특히 FixMatch를 활용한 준지도 학습(SSL)을 적용한다.
• 예측된 그룹 레이블을 사용하여 최종 강건 모델을 GDRO로 최적화하며, 표준 하이퍼파rameter 검색 및 모델 선택 절차를 유지한다.
• 그룹 예측 품질, 모델 초기화, 데이터 증강의 영향을 평가하기 위해 분석 실험을 수행한다.

실험 결과

연구 질문

• RQ1 소량의 그룹 레이블이 분류 작업에서 최악의 그룹 성능을 크게 향상시킬 수 있는가?
• RQ2 사용 가능한 그룹 레이블의 수와 전체 데이터의 수에 따라 최악의 그룹 일반화 오차는 어떻게 스케일링되는가?
• RQ3 그룹 예측과 강건 최적화를 조합한 두 단계 접근법이 그룹 정보를 전혀 사용하지 않는 방법보다 우수한가?
• RQ4 준지도 학습(SSL)이 예측된 그룹 레이블의 품질을 향상시키고, 결과적으로 최종 강건성을 향상시키는가?
• RQ5 정확한 그룹 예측과 강건 최적화 중 어느 것이 최악의 그룹 성능 향상에 더 큰 기여를 하는가?

주요 결과

• 1–33%의 훈련 포인트에서만 그룹 레이블이 있는 경우, Barack은 Full-GDRO(모든 그룹 레이블을 사용)의 최악의 그룹 정확도와 2–5% 이내로 근접한 성능을 달성한다.
• Waterbirds와 CelebA에서, 8개의 레이블이 있는 경우(1%) Barack은 각각 81.1%와 90.4%의 최악의 그룹 정확도를 기록하며, 그룹 정보를 전혀 사용하지 않는 모든 벤치마크를 앞서나간다.
• 이론적 분석 결과, 최악의 그룹 일반화 오차는 n_g의 역수 제곱근에 비례하는 O(1/√n_g)로 스케일링되며, 여기서 n_g는 레이블이 있는 가장 작은 그룹의 점 수이다.
• 그룹 예측 단계에서 준지도 학습(FixMatch)을 사용하면 일반화 경계가 더욱 날카롭게 좁아지고 성능 향상이 이루어진다.
• 분석 실험 결과, 그룹 예측의 품질이 매우 중요하며, 특히 자기지도 사전 훈련(RotNet)을 사용할 경우 데이터 증강이 성능 향상에 기여한다.
• GEORGE와 Subset-GDRO와 같은 벤치마크보다도 더 많은 레이블 데이터를 사용하는 경우에도 Barack이 성능을 뛰어넘어, 두 단계 설계의 가치를 입증한다.