[논문 리뷰] Is Importance Weighting Incompatible with Interpolating Classifiers?

Ke Alexander Wang, Niladri S. Chatterji외 2명|arXiv (Cornell University)|2021. 12. 24.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 오버파rameterized 모델에서 중요도 가중치의 비효율성이라는 역설을 해결하며, 지수적 尾 꼬리 손실(예: 교차 엔트로피)이 중요도 가중치의 영향력을 억제함을 보여준다. 저자들은 중요도 가중치의 보정 능력을 복원하는 다항식 꼬리 손실을 제안하며, 이론적·실험적으로 이러한 손실을 사용할 경우 중요도 가중치를 거듭제곱한 값이 레이블 및 부분집단 이동 상황에서 일반화 성능을 향상시키며, 재가중 교차 엔트로피보다 최대 9% 높은 테스트 정확도를 달성함을 입증한다.

ABSTRACT

Importance weighting is a classic technique to handle distribution shifts. However, prior work has presented strong empirical and theoretical evidence demonstrating that importance weights can have little to no effect on overparameterized neural networks. Is importance weighting truly incompatible with the training of overparameterized neural networks? Our paper answers this in the negative. We show that importance weighting fails not because of the overparameterization, but instead, as a result of using exponentially-tailed losses like the logistic or cross-entropy loss. As a remedy, we show that polynomially-tailed losses restore the effects of importance reweighting in correcting distribution shift in overparameterized models. We characterize the behavior of gradient descent on importance weighted polynomially-tailed losses with overparameterized linear models, and theoretically demonstrate the advantage of using polynomially-tailed losses in a label shift setting. Surprisingly, our theory shows that using weights that are obtained by exponentiating the classical unbiased importance weights can improve performance. Finally, we demonstrate the practical value of our analysis with neural network experiments on a subpopulation shift and a label shift dataset. When reweighted, our loss function can outperform reweighted cross-entropy by as much as 9% in test accuracy. Our loss function also gives test accuracies comparable to, or even exceeding, well-tuned state-of-the-art methods for correcting distribution shifts.

연구 동기 및 목표

• 오버파라미터라이제이션된 보간 분류기에서 이론적으로 타당한 중요도 가중치가 왜 실패하는지에 대한 역설을 해결하는 것.
• 이 실패의 근본 원인이 오버파라미터라이제이션 자체가 아니라 교차 엔트로피와 같은 지수적 꼬리 손실의 사용임을 밝히는 것.
• 중요도 가중치의 영향력을 유지하는 다항식 꼬리 손실을 사용한 새로운 학습 목표 함수를 제안하는 것.
• 다항식 꼬리 손실과 함께 거듭제곱된 중요도 가중치를 사용할 경우, 레이블 및 부분집단 이동 상황에서 일반화 성능 향상의 이론적·실험적 검증을 수행하는 것.
• 신경망에서 분포 이동을 수정하는 데 있어 재가중 교차 엔트로피 및 최첨단 방법보다 실용적으로 뛰어난 성능을 보이는 것.

제안 방법

• 로지스틱 또는 교차 엔트로피 손실과 같이 지수적 꼬리가 아닌 다항식 감쇠 꼬리 손실을 사용하는 새로운 손실 함수를 제안하는 것.
• 희귀하지만 중요한 예시의 영향을 증폭시키기 위해 중요도 가중치를 거듭제곱하는 방법을 사용하며, 여기서 $ c > 1 $ 이다.
• 이론적 분석을 통해 다항식 꼬리 손실에 대해 경사 하강법가 수렴하는 방향이 데이터와 중요도 가중치에 모두 의존하는 반면, 최대 마진 분류기와는 다름을 보여주는 것.
• 미니배치 수준의 정규화로 인한 불안정성을 방지하기 위해 전체 훈련 세트를 기준으로 중요도 가중치를 정규화하는 것.
• 오버피팅을 방지하기 위해 중요도 가중치를 적용한 검증 정확도를 기반으로 조기 정지 기법을 신경망에 적용하는 것.
• 훈련 및 테스트 세트의 그룹 빈도를 기반으로 비편향된 중요도 가중치를 계산하고, 거듭제곱 및 정규화를 통해 안정적인 최적화를 보장하는 것.

실험 결과

연구 질문

• RQ1 오버파라미터라이제이션된 모델에서 교차 엔트로피와 같은 지수적 꼬리 손실을 사용할 경우 중요도 가중치가 실패하는 이유는 무엇인가요?
• RQ2 손실 함수의 구조를 수정함으로써 보간 모델에서 중요도 가중치의 기능을 복원할 수 있을까요?
• RQ3 다항식 꼬리 손실과 함께 거듭제곱된 중요도 가중치를 사용할 경우, 레이블 이동 상황에서 일반화 성능이 향상될 수 있나요?
• RQ4 선형 모델에서 재가중 다항식 꼬리 손실을 최소화할 때 경사 하강법의 암묵적 편향은 무엇인가요?
• RQ5 이 방법은 신경망에서 분포 이동을 수정하는 데 있어 재가중 교차 엔트로피 및 최첨단 방법보다 뛰어난 성능을 보일 수 있나요?

주요 결과

• 오버파라미터라이제이션된 모델에서 중요도 가중치의 실패 원인은 오버파라미터라이제이션 자체가 아니라 지수적 꼬리 손실의 사용이다.
• 다항식 꼬리 손실은 중요도 가중치의 영향력을 복원하여, 경사 하강법가 데이터와 중요도 가중치에 모두 의존하는 방향으로 수렴하게 한다.
• 거듭제곱된 중요도 가중치를 사용할 경우, 레이블 이동 상황에서 대용량 표본 근처에서 분류기의 테스트 오차가 0으로 수렴하는 반면, 최대 마진 분류기는 테스트 오차의 하한이 1/8로 존재한다.
• 불균형한 이진 CIFAR10 데이터셋에서 제안된 방법은 평균 테스트 정확도 67.3%를 기록하여 재가중 교차 엔트로피(57.8%)를 뛰어넘고, 최첨단 방법과 유사하거나 이를 초월한다.
• 편향된 상관관계가 존재하는 부분집합 셀레바 데이터셋에서, 이 방법은 평균 테스트 정확도 82.4%와 최악의 그룹 정확도 53.3%를 기록하여 재가중 교차 엔트로피(79.3% 및 43.1%)를 뛰어넘고, DRO 기반 방법과 경쟁하거나 이를 초월한다.
• 일부 설정에서는 재가중 교차 엔트로피 대비 최대 9% 높은 테스트 정확도를 기록하여 뚜렷한 실용적 성과를 입증한다.