[논문 리뷰] Understanding Why Generalized Reweighting Does Not Improve Over ERM

Runtian Zhai, Dan Chen외 2명|arXiv (Cornell University)|2022. 01. 28.

Machine Learning and Algorithms인용 수 6

한 줄 요약

이 논문은 일반화 재가중(Generalized Reweighting, GRW) 방법—중요도 가중치와 분포로 보존 최적화(Distributionally Robust Optimization, DRO)를 포함—이 과다 매개변수화된 모델에서 경험 위험 최소화(Empirical Risk Minimization, ERM)보다 일반화 성능 향상을 이끌지 못함을 보여준다. 넓은 신경망에 대한 이론적 분석을 통해 GRW와 ERM가 공통된 암묵적 편향을 공유함으로써 거의 동일한 모델로 수렴함을 밝혀내며, 이는 GRW가 기본적인 방법론적 개선이나 새로운 손실 함수 없이 분포로 보존 일반화를 달성할 수 없음을 시사한다.

ABSTRACT

Empirical risk minimization (ERM) is known in practice to be non-robust to distributional shift where the training and the test distributions are different. A suite of approaches, such as importance weighting, and variants of distributionally robust optimization (DRO), have been proposed to solve this problem. But a line of recent work has empirically shown that these approaches do not significantly improve over ERM in real applications with distribution shift. The goal of this work is to obtain a comprehensive theoretical understanding of this intriguing phenomenon. We first posit the class of Generalized Reweighting (GRW) algorithms, as a broad category of approaches that iteratively update model parameters based on iterative reweighting of the training samples. We show that when overparameterized models are trained under GRW, the resulting models are close to that obtained by ERM. We also show that adding small regularization which does not greatly affect the empirical training accuracy does not help. Together, our results show that a broad category of what we term GRW approaches are not able to achieve distributionally robust generalization. Our work thus has the following sobering takeaway: to make progress towards distributionally robust generalization, we either have to develop non-GRW approaches, or perhaps devise novel classification/regression loss functions that are adapted to the class of GRW approaches.

연구 동기 및 목표

• 최근 분포로 보존 방법인 DRO와 중요도 가중치가 실세계 과다 매개변수화된 모델에서 ERM를 향상시키지 못하는 이유를 이론적으로 설명하기.
• 과다 매개변수화된 모델의 맥락에서 이러한 실패의 근본 원인을 규명하기.
• 이전 연구 결과를 선형 모델과 고정된 가중치에 국한된 이론적 결과에서 넓은 신경망, 동적 재가중, L2-정규화 설정까지 확장하기.
• Lee 등(2019)의 NTK 증명에서 발생하는 중대한 결함(기울기 노름 스케일링 및 초기화와 관련)을 수정하기.

제안 방법

• 학습 중 샘플 가중치를 동적으로 조정하는 반복적 재가중 알고리즘의 광범위한 클래스로 일반화 재가중(GRW)을 도입.
• 넓은 신경망에서 수렴성을 분석하기 위해 신경 탄성 커널(NTK) 프레임워크를 활용해 GRW의 암묵적 편향을 분석.
• 기울기 및 가중치 노름의 진화에 대한 더 강력한 경계를 확보하기 위해 최종 레이어 가중치를 가우시안 대신 0으로 초기화함으로써 NTK 수식을 수정.
• GRW 모델과 그 선형화된 대응 모델 간의 차이가 r ∈ (0, 1/2)에 대해 O(˜d^{r−1/2})로 유계임을 증명하며, 이는 이전의 O(˜d^{−1/2}) 주장보다 정정된 결과임.
• 이 프레임워크 하에서 GRW의 암묵적 편향이 ERM와 거의 동일함을 입증함으로써 일반화 성능 향상이 유의미하게 이루어지지 않음을 시사.
• 첫 번째 레이어 기울기 노름이 활성화 노름의 유계성으로 인해 더 작은 학습률이 필요로 하지 않음을 보여줌으로써 Lee 등(2019)의 결함을 수정.

실험 결과

연구 질문

• RQ1 왜 GRW 기반 방법들인 DRO와 중요도 가중치는 실제 과다 매개변수화된 모델에서 ERM를 향상시키지 못하는가?
• RQ2 넓은 신경망에서 GRW 방법은 ERM와 본질적으로 다른 암묵적 편향을 유도하는가?
• RQ3 동적 재가중 및 정규화 조건 하에서 GRW의 암묵적 편향이 ERM의 해와 동일한 해로 수렴한다는 것을 이론적으로 입증할 수 있는가?
• RQ4 NTK 영역에서 GRW와 그 선형화된 근사 간의 일반화 갭에 대한 올바른 점 渐차적 경계는 무엇인가?
• RQ5 최종 레이어 초기화 방식을 수정함으로써 NTK 근사의 타당성과 GRW의 수렴 행동에 어떤 영향을 미치는가?

주요 결과

• GRW와 ERM는 넓은 신경망에서 거의 동일한 모델로 수렴함을 보여, GRW가 유의미하게 다른 해를 도출하지 못함을 시사.
• GRW의 암묵적 편향은 ERM와 실질적으로 동일함을 보여, 분포로 보존 일반화 성능 향상이 이루어지지 않는 이유를 설명.
• GRW와 그 선형화된 대응 모델 간의 차이에 대한 이론적 경계는 r ∈ (0, 1/2)에 대해 O(˜d^{r−1/2})로 유도되었으며, 이는 이전의 O(˜d^{−1/2}) 주장보다 정정된 결과임.
• 최종 레이어를 0으로 초기화함으로써 NTK 증명의 결함을 수정하였으며, 이는 마지막 레이어 가중치의 노름을 감소시켜 근사 경계를 더욱 강화함.
• 작은 크기의 L2 정규화는 암묵적 편향을 변화시키지 않아, GRW가 ERM 등가성에서 벗어나는 데 기여하지 않음.
• 새로운 초기화 조건 하에서도 커널 행렬은 비특이적이고 전체질서를 유지하므로, NTK 프레임워크의 타당성이 유지됨.