[논문 리뷰] Statistical Optimality of Interpolated Nearest Neighbor Algorithms

Yue Xing, Qifan Song외 1명|arXiv (Cornell University)|2018. 10. 05.

Face and Expression Recognition참고 문헌 12인용 수 7

한 줄 요약

이 논문은 데이터에 따라 결정되는 정규화된 다항식 가중치를 사용하여 훈련 데이터를 정확히 맞추는, 보간된 최근접 이웃(i-NN) 알고리즘을 제안한다. 이 알고리즘은 회귀 및 분류에서 최소최대 최적 수렴 속도를 달성한다. 과적합에도 불구하고 기존 k-NN보다 편향을 더 효과적으로 줄여 동일한 최적 수렴 속도를 유지하면서도 더 뛰어난 경험적 성능을 보이며, 이는 수렴 속도의 더 작은 곱계수를 의미한다.

ABSTRACT

In the era of deep learning, understanding over-fitting phenomenon becomes increasingly important. It is observed that carefully designed deep neural networks achieve small testing error even when the training error is close to zero. One possible explanation is that for many modern machine learning algorithms, over-fitting can greatly reduce the estimation bias, while not increasing the estimation variance too much. To illustrate the above idea, we prove that the proposed interpolated nearest neighbor algorithm achieves the minimax optimal rate in both regression and classification regimes, and observe that they are empirically better than the traditional $k$ nearest neighbor method in some cases.

연구 동기 및 목표

• 딥 뉴럴 네트워크와 같은 과적합 모델이 훈련 오차가 0임에도 불구하고 일반화 잘 되는 이유를 이해하는 것.
• 보간된 최근접 이웃 방법이 회귀 및 분류에서 통계적 최적성을 달성할 수 있는지 조사하는 것.
• 정확한 데이터 보간을 보장하면서도 최적 수렴 속도를 유지하는 가중치 설계 방법을 개발하는 것.
• 다양한 설정에서 보간된-NN과 기존 k-NN의 성능을 경험적으로 비교하는 것.
• 최근접 이웃 방법에서 보간을 통한 편향 감소의 이론적 및 실용적 이점 탐색하기

제안 방법

• i-NN 추정기는 $ w_i = \frac{\phi(\|x_{(i)}-x\| / \|x_{(k+1)}-x\|)}{\sum_{j=1}^k \phi(\|x_{(j)}-x\| / \|x_{(k+1)}-x\|)} $ 로 정의된 가중치를 사용하며, 여기서 $ \phi $ 는 $ \lim_{t\to 0} \phi(t) = \infty $ 를 만족하는 양함수로, 가장 가까운 이웃에서의 보간을 보장한다.
• 가중치 함수 $ \phi $ 는 조건 (A.0)인 모멘트 생성 함수 조건을 만족하도록 선택되어 이론적 분석을 위한 농도 부등식을 가능하게 한다.
• 회귀 추정기는 $ \widehat{\eta}(x) = \sum_{i=1}^k w_i y(x_{(i)}) $ 이며, 분류기는 $ \widehat{g}(x) = \mathbf{1}\{ \widehat{\eta}(x) \geq 1/2 \} $ 이며, $ \|x_{(i)}-x\| \to 0 $ 일 때 $ w_i \to 1 $ 이 되도록 보간 조건을 강제한다.
• 이론적 분석을 통해 회귀의 평균제곱오차(MSE)와 분류의 Tsybakov의 마진 조건 하에서의 위험 경계에 대해 최소최대 최적성 증명.
• 콤팩트 및 비콤팩트 지지집합에서의 시뮬레이션과 실제 HTRU2 데이터를 활용한 검증을 통해 MSE 및 초과 위험을 비교.
• 이론적 근거는 $ \phi $ 에 대한 모멘트 생성 함수 조건을 통해 비정규화된 가중치 평균의 경계를 제공하며, 이는 농도 부등식의 가능성을 보장한다.

실험 결과

연구 질문

• RQ1 보간된 최근접 이웃 알고리즘이 과적합된 훈련 데이터를 고려할지라도 회귀에서 최소최대 최적 수렴 속도를 달성할 수 있는가?
• RQ2 기존 k-NN와 보간된-NN 간의 편향-분산 트레이드오프는 어떻게 다를까? 후자의 경험적 슈퍼리어리티는 무엇으로 설명되는가?
• RQ3 가중치 함수 $ \phi $ 의 선택이 수렴 속도에 영향을 미치는가? 어떤 조건이 이론적 최적성을 보장하는가?
• RQ4 보간된-NN이 k-NN보다 성능 향상을 보이는 것은 수렴 속도의 더 작은 곱계수 때문인가?
• RQ5 보간된-NN의 이론적 최적성은 비콤팩트 또는 일반적인 메트릭 공간 설정으로 확장 가능한가?

주요 결과

• 보간된-NN 추정기는 표준 부드러움 조건 및 마진 조건 하에서 회귀 및 분류에서 최소최대 최적 수렴 속도를 달성한다.
• 경험적 결과는 비콤팩트 지지집합 포함 다양한 시뮬레이션 설정에서 보간된-NN이 k-NN보다 항상 낮은 평균제곱오차와 초과 위험을 기록함을 보여준다.
• 보간된-NN과 k-NN가 선택한 최적의 k 값은 매우 유사하여, 성능 향상은 k 값 선택의 차이가 아니라 추정 효율성 향상 때문임을 시사한다.
• 보간된-NN의 수렴 속도는 k-NN보다 더 작은 곱계수를 가지며, 이는 동일한 渐近 수렴 속도를 가짐에도 불구하고 경험적 성능 향상을 설명한다.
• 실제 HTRU2 데이터에서는 모든 테스트된 k 값에서 보간된-NN이 k-NN보다 분류 오차에서 뛰어난 성능을 보이며, 이는 강건성과 실용적 이점의 확인이다.
• 이론적 분석은 보간이 $ \phi $ 가 조건 (A.0)을 만족할 경우 최적성에 영향을 주지 않음을 확인하며, 이는 농도 경계를 보장한다.