[논문 리뷰] Overfitting or perfect fitting? Risk bounds for classification and regression rules that interpolate

Mikhail Belkin, Daniel Hsu외 1명|arXiv (Cornell University)|2018. 06. 13.

Adversarial Robustness in Machine Learning참고 문헌 2인용 수 85

한 줄 요약

이 논문은 보간 예측 규칙(예: 단순다각형 보간 및 wiNN)들을 분석하고 분류 및 회귀에서 일관성 또는 거의 일관성을 증명하며 비점근 및 미니맥스 최적 속도를 도출하고 보간과 적대적 예제의 연관성을 제시한다.

ABSTRACT

Many modern machine learning models are trained to achieve zero or near-zero training error in order to obtain near-optimal (but non-zero) test error. This phenomenon of strong generalization performance for "overfitted" / interpolated classifiers appears to be ubiquitous in high-dimensional data, having been observed in deep networks, kernel machines, boosting and random forests. Their performance is consistently robust even when the data contain large amounts of label noise. Very little theory is available to explain these observations. The vast majority of theoretical analyses of generalization allows for interpolation only when there is little or no label noise. This paper takes a step toward a theoretical foundation for interpolated classifiers by analyzing local interpolating schemes, including geometric simplicial interpolation algorithm and singularly weighted $k$-nearest neighbor schemes. Consistency or near-consistency is proved for these schemes in classification and regression problems. Moreover, the nearest neighbor schemes exhibit optimal rates under some standard statistical assumptions. Finally, this paper suggests a way to explain the phenomenon of adversarial examples, which are seemingly ubiquitous in modern machine learning, and also discusses some connections to kernel machines and random forests in the interpolated regime.

연구 동기 및 목표

• 분류 및 회귀에서 학습 데이터를 보간하는 예측기를 이론적으로 정당화하고 개발한다.
• 표준 매끄러움 및 마진 가정 하에서 로컬 보간 스킴의 일관성 또는 거의 일관성을 확립한다.
• 비점근 위험 한계 및 마진 조건 하에서 개선된 속도와 특정 스킴에 대한 미니맥스 최적 속도를 도출한다.
• 보간이 적대적 예제 및 커널 방법과 랜덤 포레스트와의 연관성에 대한 통찰을 제공한다.

제안 방법

• 다음의 보간 스킴을 도입한다: (i) 다변수 삼각분할 기반의 단순다각형 보간, (ii) 특이 반지름 가중치를 갖는 가중 보간 근접 이웃(wiNN).
• 지역성 특성과 보간 동작을 통해 과도 위험을 직접 한계로 분석하여 평균제곱오차 및 분류 위험을 분석한다.
• 다변수 매끄러움 및 마진 조건 하에서 단순다각형 보간이 근접한 베이즈 위험을 달성함을 보이고, wiNN에 대해서도 명시적 속도로 대응하는 결과를 제공한다.
• 비점근 수렴 속도를 유도한다; 표준 가정 하에서 wiNN의 미니맥스 최적 속도를 보이고 차원의 영향(차원의 축복)에 대해 논의한다.
• 보간이 라벨 노이즈가 존재하는 경우 적대적 예제로 이어진다는 조건을 확립하고 보간 영역에서의 풍부성에 대해 논의한다.

실험 결과

연구 질문

• RQ1 표준 매끄러움 및 마진 가정 하에서 보간 분류기와 회귀기가 일관성 또는 거의 일관성을 달성할 수 있는가?
• RQ2 삼각분할 보간 및 wiNN와 같은 보간 스킴의 유한 샘플 및 점근적 위험 한계는 무엇인가?
• RQ3 고차원에서의 보간 방법의 성능은 어떠하며 마진 조건 하에서 미니맥스 최적 혹은 지수적으로 작은 초과 위험을 달성할 수 있는가?
• RQ4 보간, 적대적 예제 및 커널 방법과 랜덤 포레스트 간의 관계는 무엇인가?
• RQ5 직접 보간 기반 예측과 역 보간 스킴의 위험 및 일관성 측면에서의 비교는 무엇인가?

주요 결과

• 단순다각형 보간은 차원이 증가함에 따라 Bayes 위험에 근접하는 조각별 선형, 연속 예측기를 산출하며 규칙성 조건 하에서 작동한다.
• 단순 폴리토프 지지 및 델로네 삼각화하에서 회귀 오차 한계는 limsup_n E[(hat_eta(X)−eta(X))^2] ≤ (2/(d+2)) E[(Y−eta(X))^2] 를 만족한다.
• 분류의 경우 hat_eta를 기반으로 한 플러그인 분류기는 고차원에서 과잉위험이 Bayes 위험에 가까워질 수 있다는 한계를 갖고, 강한 마진 조건 하에서 위험 한계가 exp(-c d)로 감소하는 지수적 개선을 보인다.
• 특이 가중치를 갖는 wiNN 스킴은 표준 규칙성, 마진 및 밀도 조건 하에서 회귀에서 n^{-2α/(2α+d)}, 분류에서 n^{-α/(2α+d)}의 미니맥스 최적 수렴 속도를 달성한다.
• 해석은 보간이 라벨 노이즈가 존재할 때 적대적 예제로 이어진다는 것을 보이며: 과대적basins 집합은 점근적으로 밀집하게 나타나며 오분류 질량은 작을 수 있다.