[논문 리뷰] Interpolating Classifiers Make Few Mistakes

Tengyuan Liang, Benjamin Recht|arXiv (Cornell University)|2021. 01. 28.

Face and Expression Recognition참고 문헌 26인용 수 15

한 줄 요약

이 논문은 최소 노름 보간 분류기(MNIC)와 정규화된 최소 제곱 분류(RLSC)의 이론적 분석을 제공하며, 약한 조건 하에서도 잘 일반화됨을 보여준다. 간단한 행렬 대수학과 확률적 가정을 사용하여, 오류 수의 경계와 일반화 속도를 유도하며, 이는 보간 해의 제곱 노름을 데이터 포인트 수로 나눈 비율에 비례한다. 이는 고전적인 마진 기반 속도와 일치하며, 이러한 방법의 경험적 성공을 설명한다.

ABSTRACT

This paper provides elementary analyses of the regret and generalization of minimum-norm interpolating classifiers (MNIC). The MNIC is the function of smallest Reproducing Kernel Hilbert Space norm that perfectly interpolates a label pattern on a finite data set. We derive a mistake bound for MNIC and a regularized variant that holds for all data sets. This bound follows from elementary properties of matrix inverses. Under the assumption that the data is independently and identically distributed, the mistake bound implies that MNIC generalizes at a rate proportional to the norm of the interpolating solution and inversely proportional to the number of data points. This rate matches similar rates derived for margin classifiers and perceptrons. We derive several plausible generative models where the norm of the interpolating classifier is bounded or grows at a rate sublinear in $n$. We also show that as long as the population class conditional distributions are sufficiently separable in total variation, then MNIC generalizes with a fast rate.

연구 동기 및 목표

• 최소 노름 보간 분류기(MNIC)와 정규화된 최소 제곱 분류(RLSC)의 분류 작업에서의 강력한 경험적 성능에 대한 이론적 설명을 제공하는 것.
• 오직 행렬 역행렬 레이마와 선형 대수학에 의존하여, 임의의 데이터 세트에 대해 항상 성립하는 MNIC의 오류 수 경계를 유도하는 것.
• 독립 동일분포(i.i.d.) 데이터 가정 하에, MNIC의 일반화 속도가 $ B_n^2 / n $ 비례함을 보여주는 것. 여기서 $ B_n $은 보간 해의 기대 노름이다.
• 보간 해의 노름이 $ n $에 대해 비선형적으로 증가하는 것으로 보이는 타당한 생성 모델을 특정하여, 빠른 일반화를 보장하는 조건을 밝혀내는 것.
• 특히 전체 변화 거리에서의 분리성 조건과 같은 조건을 설정하여, MNIC가 빠른 일반화 속도를 달성할 수 있음을 밝혀내는 것.

제안 방법

• 두 번의 행렬 역행렬 레이마 적용을 통해, 오직 선형 대수적 성질에 의존하는 MNIC의 오류 수 경계를 도출한다.
• 오류 수 경계에 마르코프 부등식을 적용하여, i.i.d. 데이터 가정 하에 일반화 오차 속도가 $ B_n^2 / n $임을 유도한다.
• 집중 불등식과 랜덤 행렬 이론을 사용하여 다양한 확률적 데이터 모델에서 해의 노름 $ \|\widehat{f}_{S_n}\|_K $ 의 성장을 분석한다.
• 베이즈 오차를 특성화하고 일반화 경계와 연결하기 위해 조건부 기대값 $ \eta_\star(x) = \mathbb{P}(y=+1|x) - \mathbb{P}(y=-1|x) $ 을 도입한다.
• 클래스 조건부 분포 $ P_+ $ 와 $ P_- $ 사이의 전체 변화 거리와 일반화 경계를 연결하여 기대 베이즈 오차 $ \mathcal{E}(X) $ 의 경계를 설정한다.
• 소음 조건인 Mammen-Tsybakov 및 Massart 조건을 활용하여 베이즈 오차를 제어하고 일반화 경계의 비최적 속도를 보장한다.

실험 결과

연구 질문

• RQ1 최소 노름 보간 분류기가 훈련 레이블을 완벽하게 보간함에도 불구하고, 어떤 조건에서 잘 일반화되는가?
• RQ2 데이터 분포에 종속되지 않고, 오직 기본적인 행렬 대수학만을 사용하여 MNIC의 오류 수 경계를 도출할 수 있는가?
• RQ3 보간 해의 노름은 표본 크기 $ n $ 과 함께 어떻게 증가하는가? 어떤 데이터 모델에서 이 증가가 비선형적인가?
• RQ4 클래스 조건부 분포 간의 전체 변화 거리 거리가 낮은 일반화 오차를 보장하는 데 어떤 역할을 하는가?
• RQ5 MNIC의 일반화 속도는 퍼셉트론 또는 SVM과 같은 마진 기반 분류기의 것과 일치하거나 근접할 수 있는가?

주요 결과

• MNIC의 오류 수 경계는 임의의 데이터 세트에 대해 조건 없이 성립하며, 두 번의 행렬 역행렬 레이마 적용으로 직접 유도된다.
• i.i.d. 표본 추출 조건 하에서, MNIC의 일반화 오차는 $ B_n^2 / n $ 비례하며, 이는 고전적인 마진 기반 속도와 일치한다. 여기서 $ B_n $은 보간 해의 기대 노름이다.
• 클래스 분리성이 전체 변화 거리 기준으로 충분히 확보된 데이터 모델에서는, 베이즈 오차 $ \mathcal{E}(X) $ 가 작아져 빠른 일반화 속도를 유도한다.
• Mammen-Tsybakov 소음 조건 하에서 파라미터 $ \alpha \in [0,1] $ 이면 기대 베이즈 오차는 $ C_0 \cdot \frac{2(1-\alpha)}{2-\alpha} $ 로 경계되며, $ \alpha = 1 $ 일 때 오차는 0이 된다.
• 충분한 분리가 있는 가우시안 혼합 모델에서는, 베이즈 오차가 고확률로 $ O(1/n) $ 이며, 이에 따라 일반화 오차도 $ O(1/n) $ 이다.
• 가장 타당한 생성 모델에서, 보간 해의 노름은 $ n $ 에 대해 비선형적으로 증가하며, 이는 $ \|\eta_\star\|_K $ 가 유계이고 클래스 간 분리가 충분할 경우에 해당한다.