[논문 리뷰] Coping with Label Shift via Distributionally Robust Optimisation

Jingzhao Zhang, Aditya Krishna Menon외 4명|arXiv (Cornell University)|2020. 10. 23.

Supply Chain and Inventory Management참고 문헌 41인용 수 7

한 줄 요약

이 논문은 훈련 레이블 분포 주변의 KL 발산 볼 안에서 악성 위험의 최악의 경우를 최소화함으로써 임의의 레이블 시프트에 강인한 단일 분류기를 훈련하는 분포로 불변 최적화(DRO) 방법인 AdvShift를 제안한다. 이 방법은 훈련을 안정화하기 위해 경사 하강-프록실 미러 상승 알고리즘을 사용하며, 악성 레이블 시프트 하에서 CIFAR-100과 ImageNet에서 기준 모델보다 뚜렷한 성능 향상을 달성한다.

ABSTRACT

The label shift problem refers to the supervised learning setting where the train and test label distributions do not match. Existing work addressing label shift usually assumes access to an \emph{unlabelled} test sample. This sample may be used to estimate the test label distribution, and to then train a suitably re-weighted classifier. While approaches using this idea have proven effective, their scope is limited as it is not always feasible to access the target domain; further, they require repeated retraining if the model is to be deployed in \emph{multiple} test environments. Can one instead learn a \emph{single} classifier that is robust to arbitrary label shifts from a broad family? In this paper, we answer this question by proposing a model that minimises an objective based on distributionally robust optimisation (DRO). We then design and analyse a gradient descent-proximal mirror ascent algorithm tailored for large-scale problems to optimise the proposed objective. %, and establish its convergence. Finally, through experiments on CIFAR-100 and ImageNet, we show that our technique can significantly improve performance over a number of baselines in settings where label shift is present.

연구 동기 및 목표

• 테스트 레이블 분포가 훈련 분포와 다를 수 있는 실제 환경에서의 레이블 시프트 문제에 대응한다.
• 분포 추정을 위해 비라벨 테스트 데이터가 필요로 하는 기존 방법의 한계를 극복한다.
• 다양한 레이블 분포를 가진 여러 테스트 환경에서 잘 일반화하는 단일 강인 분류기를 개발한다.
• 분포로 불변 최적화(DRO)를 사용하여 레이블 시프트 강인성을 최소 최대 게임으로 공식화하여 이격된 분포에서의 최악의 성능을 보장한다.
• ImageNet과 같은 대규모 데이터셋에 적합한 스케일링 가능하고 안정적인 최적화 알고리즘을 설계하여, 악성 분포 하에서의 난이도 있는 경사 추정에 의한 불안정성 문제를 방지한다.

제안 방법

• 실제 훈련 분포 주변의 KL 발산 볼 내에서 모든 레이블 분포에 대해 최악의 기대 손실을 최소화하는 분포로 불변 최적화(DRO) 목적함수로 레이블 시프트 문제를 공식화한다.
• 모델 파라미터와 적대자의 분포를 동시에 최적화하기 위해 경사 하강-프록실 미러 상승 알고리즘을 도입하여 안정적이고 효율적인 훈련을 보장한다.
• 특히 단형자점 근처에서 수치적 불안정성을 방지하기 위해 업데이트 중에 안정화 항목(덧셈형 에프스론)을 적용한다.
• 고도로 악성인 반경에서의 훈련 중 발산을 방지하기 위해 기울기 분산을 제어하기 위해 손실 클리핑 메커니즘을 통합한다.
• 적대자가 모델의 손실을 최대화하도록 동적으로 레이블 가중치를 조정함으로써 최악의 레이블 시프트를 시뮬레이션하는 이중 최적화 전략을 사용한다.
• KL 볼의 구조를 활용하여 적대자의 분포에 대해 효율적이고 해석 가능한 업데이트를 가능하게 하여 고비용의 하위문제 해결을 피한다.

실험 결과

연구 질문

• RQ1 비라벨 테스트 데이터에 접근할 필요 없이도 임의의 레이블 시프트에 강인한 단일 분류기를 훈련시킬 수 있는가?
• RQ2 안정적이고 확장 가능한 훈련을 위해 분포로 불변 최적화를 어떻게 효과적으로 레이블 시프트 문제에 적용할 수 있는가?
• RQ3 동적 적대적 분포 업데이트가 어려운 클래스와 쉬운 클래스 모두에서 모델 일반화에 어떤 영향을 미치는가?
• RQ4 손실 클리핑 임계값과 경사 안정화와 같은 하이퍼파라미터가 증가하는 레이블 시프트 심각도 하에서 모델 강인성에 어떤 영향을 미치는가?
• RQ5 제안된 DRO 기반 방법이 최악의 오차를 줄이고 쉽게 분류 가능한 클래스에서 양호한 성능를 유지하면서 과소적합을 피할 수 있는가?

주요 결과

• AdvShift는 CIFAR-100과 ImageNet에서 악성 레이블 시프트 하에서도 훈련 및 검증 세트에서 최악의 오차를 크게 감소시킨다.
• 표준 훈련 및 기준 DRO 방법에 비해 하드 클래스에서 상위 꼬리 오차가 더 낮아졌으며, 예를 들어 기준 모델에서 최대 80%의 오차를 기록한 경우에도 개선되었다.
• 경사 안정화와 손실 클리핑을 통해 알고리즘이 안정적인 훈련 동역학을 유지하며, 이러한 구성 요소가 생략되거나 잘 조정되지 않으면 성능이 급격히 악화된다.
• 적대적 분포는 균일에서 몇몇 하드 레이블 쪽으로 집중되며, 이는 모델이 학습한 어려움의 지도를 반영한다 (예: 2배 이상의 가중치 증가).
• 쉬운 클래스에서는 훈련 초반에 성능이 뒤처지지만, 결국 기준 모델보다 더 나은 일반화 갭을 달성하여 과소적합 없이 강인함을 보여준다.
• 제거 실험을 통해 손실 클리핑과 경사 안정화가 모두 핵심 요소임을 확인하였다: 최적의 값이 아니면 성능 저하가 발생하며, 특히 적대적 반경이 증가할수록 더욱 심각하다.