[논문 리뷰] Finite-sample Analysis of Interpolating Linear Classifiers in the Overparameterized Regime

Niladri S. Chatterji, Philip M. Long|arXiv (Cornell University)|2020. 04. 25.

Machine Learning and Algorithms참고 문헌 78인용 수 22

한 줄 요약

이 논문은 과다 매개변수화된 환경에서 최대 마진 선형 분류기의 유한 표본 분석을 제공하며, 적대적 레이블 노이즈가 존재하더라도 충분한 과다 매개변수화가 이루어지면 분류기가 거의 최적의 모집단 위험을 달성할 수 있음을 보여준다. 핵심 결과는 가우시안 클래스 조건부 분포를 포함한 온건한 분포 가정 하에 일반화 오차가 표본 크기와 함께 지수적으로 감소함을 증명한다.

ABSTRACT

We prove bounds on the population risk of the maximum margin algorithm for two-class linear classification. For linearly separable training data, the maximum margin algorithm has been shown in previous work to be equivalent to a limit of training with logistic loss using gradient descent, as the training error is driven to zero. We analyze this algorithm applied to random data including misclassification noise. Our assumptions on the clean data include the case in which the class-conditional distributions are standard normal distributions. The misclassification noise may be chosen by an adversary, subject to a limit on the fraction of corrupted labels. Our bounds show that, with sufficient over-parameterization, the maximum margin algorithm trained on noisy data can achieve nearly optimal population risk.

연구 동기 및 목표

• p > n 인 과다 매개변수화된 환경에서 최대 마진 선형 분류기의 일반화 성능을 분석하는 것.
• 노이즈가 있는 학습 데이터를 피팅함에도 불구하고, 정규화되지 않은 로지스틱 손실에 대한 경사 하강법이 잘 일반화되는 이유를 이해하는 것.
• 적대적 레이블 노이즈와 약한 정보를 갖는 특징 하에서 모집단 위험에 대한 유한 표본 경계를 설정하는 것.
• 과다 매개변수화가 노이즈가 있는 레이블의 영향을 완화하여 거의 최적의 테스트 오차를 달성하도록 돕는다는 것을 보여주는 것.

제안 방법

• 정규화되지 않은 로지스틱 손실에 대한 경사 하강법의 극한을 분석하여, 이는 최대 ℓ₂-마진 분류기로 수렴함을 보여준다.
• 최근 연구 결과를 활용하여, 로지스틱 손실에 대한 경사 하강법가 최대 마진 해법으로 암묵적으로 정규화됨을 보여준다.
• 클래스 조건부 분포(예: N(μ, I) 및 N(−μ, I))와 최대 분율 η까지의 적대적 레이블 노이즈를 갖는 생성 모델을 사용한다.
• 집합 불확실성 부등식과 호프딩의 부등식을 적용하여 데이터 포인트와 기대값에서의 편차 간의 내적을 제어한다.
• 서브가우시안 尾부 부등식과 표본에 대한 유니온 바운드를 사용하여 마진과 일반화 오차에 대한 고확률 경계를 유도한다.
• 충분한 과다 매개변수화와 고차원 조건 하에서 데이터의 선형 가르침 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 p ≫ n 일 때, 적대적 레이블 노이즈가 존재하는 상황에서 최대 마진 분류기가 낮은 모집단 위험을 달성할 수 있는가?
• RQ2 과다 매개변수화는 보간 선형 분류기의 레이블 노이즈에 대한 강건성에 어떤 영향을 미치는가?
• RQ3 약한 정보를 갖는 특징 하에서 최대 마진 해법의 유한 표본 일반화 오차는 무엇인가?
• RQ4 테스트 오차가 표본 크기와 함께 지수적으로 감소하는 조건은 무엇인가?
• RQ5 로지스틱 손실에 대한 경사 하강법의 암묵적 정규화가 고차원 환경에서 최적의 위험을 이끌어내는가?

주요 결과

• 다항적으로 관련된 s, p, n과 관련하여 τ > 0 일 때, 최대 마진 분류기의 모집단 위험은 표본 크기와 함께 지수적으로 감소하며, 위험은 O(e^{-n^τ}) 수준에 도달한다.
• 충분한 과다 매개변수화가 이루어지면, 최대 1/η의 레이블이 적대적으로 손상된 상황에서도 거의 최적의 모집단 위험을 달성할 수 있다.
• 일반화 오차는 √(p log(n/δ))와 ‖μ‖²에 의존하는 항으로 경계지어지며, 이는 고차원성이 노이즈 영향을 줄이는 데 기여함을 보여준다.
• p ≥ C max{‖μ‖²n, n² log(n/δ)} 를 만족할 경우, 충분히 큰 C에 대해 데이터의 선형 가르침 가능성이 보장된다.
• 분석 결과, 노이즈가 있는 샘플의 영향 비율은 p가 증가함에 따라 감소하며, 이는 최종 해법에 대한 영향을 줄임을 보여준다.
• 내적과 편차에 대한 고확률 경계는 마진이 여전히 크게 유지됨을 보장하여 강력한 일반화를 가능하게 한다.