[논문 리뷰] Universal consistency and rates of convergence of multiclass prototype algorithms in metric spaces

László Györfi, Roi Weiss|arXiv (Cornell University)|2020. 10. 01.

Face and Expression Recognition참고 문헌 42인용 수 8

한 줄 요약

이 논문은 메트릭 공간 내에서 다중분류를 위한 간소화되고 데이터에 의존하는 프로토타입 최근접 이웃 규칙인 Proto-NN을 소개하며, 보편적으로 일致하는 분류기가 존재하는 모든 메트릭 공간에서의 보편 일치성을 증명한다. 마진 조건과 일반화된 리프시츠 조건 하에서 $k$-NN과 하이브리드 프로토타입 규칙의 수렴 속도를 확립하며, 이는 이전 결과를 $\mathbb{R}^d$ 에서 일반적인 메트릭 공간으로 확장한 것으로, 유계성 가정 없이 수행된다.

ABSTRACT

We study universal consistency and convergence rates of simple nearest-neighbor prototype rules for the problem of multiclass classification in metric paces. We first show that a novel data-dependent partitioning rule, named Proto-NN, is universally consistent in any metric space that admits a universally consistent rule. Proto-NN is a significant simplification of OptiNet, a recently proposed compression-based algorithm that, to date, was the only algorithm known to be universally consistent in such a general setting. Practically, Proto-NN is simpler to implement and enjoys reduced computational complexity. We then proceed to study convergence rates of the excess error probability. We first obtain rates for the standard $k$-NN rule under a margin condition and a new generalized-Lipschitz condition. The latter is an extension of a recently proposed modified-Lipschitz condition from $\mathbb R^d$ to metric spaces. Similarly to the modified-Lipschitz condition, the new condition avoids any boundness assumptions on the data distribution. While obtaining rates for Proto-NN is left open, we show that a second prototype rule that hybridizes between $k$-NN and Proto-NN achieves the same rates as $k$-NN while enjoying similar computational advantages as Proto-NN. However, as $k$-NN, this hybrid rule is not consistent in general.

연구 동기 및 목표

• 일반적인 메트릭 공간 내에서 새로운 간소화된 프로토타입 최근접 이웃 규칙(Proto-NN)의 보편 일치성을 확립하는 것.
• $k$-NN의 수렴 속도 분석을 $\mathbb{R}^d$ 에서 일반적인 메트릭 공간으로 확장하기 위해 일반화된 리프시츠 조건을 사용하는 것.
• 하이브리드 규칙이 $k$-NN의 수렴 속도 성능을 유지하면서도 Proto-NN의 계산적 이점도 그대로 유지할 수 있는지 보여주는 것.
• 유계성 가정을 제거하기 위해 메트릭 공간 내에서 일반화된 리프시츠 조건을 도입함으로써 데이터 분포에 대한 유계성 가정을 제거하는 것.
• Proto-NN이 OptiNet의 보편 일치성을 그대로 계승하면서도 계산 복잡도가 크게 감소하는지 보여주는 것.

제안 방법

• Proto-NN을 제안하며, 지역 이웃의 구조에 기반해 프로토타입을 선택하는 데이터 의존적 분할 규칙을 통해 OptiNet의 압축 기반 접근 방식을 단순화한다.
• 보편적으로 일치하는 분류기가 존재하는 임의의 분리 가능한 메트릭 공간에서 Proto-NN의 보편 일치성을 증명하며, 국소 밀도와 분류 안정성의 새로운 분석에 기반한다.
• 유계성이 필요하지 않은 일반적인 메트릭 공간으로 $\mathbb{R}^d$ 에서의 수정된 리프시츠 조건을 확장한 메트릭 공간 내 일반화된 리프시츠 조건을 도입한다.
• $k$-NN의 수렴 속도를 마진 조건과 일반화된 리프시츠 조건 하에서 분석하며, $O(k^{-(\alpha+1)/2})$ 와 $O(h(k/n)^{\alpha+1})$ 의 오차 한계를 도출한다.
• $k$-NN의 수렴 속도 성능과 Proto-NN의 계산 단순성을 결합한 하이브리드 프로토타입 규칙을 구성하며, $k$-NN와 동일한 수렴 속도를 달성함을 보여준다.
• 허프딩 부등식과 체르노프 경계를 사용해, 마진 조건과 리프시츠 유형 조건이 존재할 경우 회귀 함수 추정의 추정 오차를 제어한다.

실험 결과

연구 질문

• RQ1 일반적인 메트릭 공간에서 OptiNet의 복잡한 압축 메커니즘을 대체할 수 있는 훨씬 단순한 대안이 존재하는가?
• RQ2 유계성 가정보다 더 약한 분포 가정 하에서 $k$-NN의 수렴 속도를 일반적인 메트릭 공간으로 확장할 수 있는가?
• RQ3 Proto-NN의 빠른 계산 성능과 $k$-NN의 수렴 속도를 동시에 확보할 수 있는 하이브리드 프로토타입 규칙이 존재하는가?
• RQ4 메트릭 공간 내 일반화된 리프시츠 조건이 수렴 분석에서 유계성 가정을 대체할 수 있는가?
• RQ5 마진 조건과 일반화된 리프시츠 조건 간의 이론적 관계는 프로토타입 규칙의 수렴 속도를 결정하는 데 어떻게 기여하는가?

주요 결과

• Proto-NN는 보편적으로 일치하는 분류기가 존재하는 임의의 분리 가능한 메트릭 공간 내에서 보편적으로 강한 일치성을 보이며, OptiNet의 복잡한 압축 메커니즘을 크게 단순화한다.
• 마진 조건과 일반화된 리프시츠 조건 하에서 $k$-NN의 수렴 속도는 $O(k^{-(\alpha+1)/2})$ 이며, 여기서 $\alpha$ 는 마진 지수이다.
• $J_{n,j,l}^{(2)}$ 는 $O(h(k/n)^{\alpha+1}) + O(h(1/m)^{\alpha+1})$ 로 유계되며, 일반화된 리프시츠 조건이 오차 감쇠에 미치는 영향을 보여준다.
• 하이브리드 프로토타입 규칙는 $k$-NN와 동일한 수렴 속도인 $O(k^{-(\alpha+1)/2})$ 를 달성하면서도 Proto-NN 수준의 계산 효율성을 유지한다.
• 일반화된 리프시츠 조건은 데이터 분포에 대한 유계성 가정을 제거하여, 무한차원 메트릭 공간인 $L^p([a,b])$ 와 같은 공간에도 분석을 적용 가능하게 한다.
• 분석을 통해 초과 오차 확률이 마진 조건과 회귀 함수의 국소 정규성(일반화된 리프시츠 조건으로 측정됨)에 의해 결정되는 속도로 감소함을 확인한다.