[논문 리뷰] On the Consistency of Exact and Approximate Nearest Neighbor with Noisy Data.

Wei Gao, Xinyi Niu외 1명|arXiv (Cornell University)|2016. 07. 26.

Machine Learning and Algorithms인용 수 6

한 줄 요약

이 논문은 랜덤 노이즈 하에서 정확한 및 근사 k-최근접 이웃(k-NN) 방법의 일致성에 대해 분석하며, 노이즈가 없는 설정과 동일한 수렴 속도로 k-NN가 여전히 일치성을 유지함을 증명한다. 반면 1-NN는 노이즈에 의해 편향됨을 보여준다. 이 논문은 유한한 집합에 국한되지 않은 무한 집합으로 존슨-린든스트라우스 보조정리를 일반화하며, 근사 k-NN가 노이즈에 대해 강건함을 유지함을 보이며, 날카로운 차원 감소 하에서 베이즈 위험에서의 편차가 증가하는 대가로 더 빠른 수렴 속도를 달성한다.

ABSTRACT

Nearest neighbor has been one of the simplest and most appealing non-parametric approaches in machine learning, pattern recognition, computer vision, etc. Empirical studies show the resistance of k-nearest neighbor to noise, yet the theoretical understanding is not clear. This work presents the consistency analysis on exact and approximate nearest neighbor in the random noise setting. Our theoretical studies show that k-nearest neighbor, in the noise setting, gets the same consistent rate as that in the noise-free setting, which verifies the robustness of k-nearest neighbor to random noise. The nearest neighbor (1-NN), however, is proven to be biased by random noise. For approximate $k$-nearest neighbor, we first generalize the Johnson-Lindenstrauss lemma to infinite set, and based on this result, we show that the approximate $k$-nearest neighbor is also robust to random noise as that of the exact k-nearest neighbor, and achieves faster convergence rate yet with a tradeoff between consistency and reduced dimension. Specifically, approximate $k$-nearest neighbor with sharp dimensional reduction tends to cause large deviation from the Bayes risk.

연구 동기 및 목표

• 랜덤 노이즈 존재 하에서 정확한 및 근사 k-NN의 이론적 분석을 통해 일치성 분석하기.
• 데이터가 랜덤 노이즈에 의해 손상되었을 때 k-NN가 노이즈가 없는 조건과 동일한 수렴 속도와 일치성을 유지하는지 조사하기.
• 차원 감소 하에서 근사 k-NN의 강건성과 일치성 간의 트레이드오프를 검토하기.
• 1-NN가 랜덤 노이즈 하에서 어떻게 이론적으로 행동하는지 명확히 하며, k-NN와의 대비를 제시하기.
• 근사 k-NN의 이론적 분석을 지원하기 위해 존슨-린든스트라우스 보조정리를 무한 집합으로 일반화하기.

제안 방법

• 랜덤 노이즈 모델 하에서 k-NN의 일치성 이론적 분석을 수행하며, 노이즈 없는 설정과의 수렴 속도를 비교한다.
• 근사 k-NN의 분석을 가능하게 하기 위해 존슨-린든스트라우스 보조정리를 무한 차원 집합으로 일반화한다.
• 랜덤 노이즈 하에서 근사 k-NN의 일치성 한계를 유도하며, 차원 감소와 베이즈 위험에서의 편차 간의 관계를 규명한다.
• k-NN가 랜덤 노이즈 하에서도 노이즈가 없는 조건과 동일한 일치성 속도를 유지함을 엄밀히 증명한다.
• 확률론적 및 측도 이론적 도구를 사용하여 노이즈 하에서 최근접 이웃 분류기의 행동을 분석한다.
• 근사 k-NN에서 차원 감소와 베이즈 위험에서의 편차 증가 간의 트레이드오프를 정량적으로 분석한다.

실험 결과

연구 질문

• RQ1 k-NN는 랜덤 노이즈 하에서도 노이즈가 없는 설정과 동일한 일치성 속도를 유지하는가?
• RQ2 1-NN는 랜덤 노이즈에 의해 편향되는가? 만약 그렇다면 k-NN와 어떻게 다를까?
• RQ3 존슨-린든스트라우스 보조정리는 근사 k-NN의 이론적 분석을 지원하기 위해 무한 집합으로 일반화될 수 있는가?
• RQ4 근사 k-NN는 랜덤 노이즈 하에서 일치성 및 수렴 속도 측면에서 어떻게 성능을 발휘하는가?
• RQ5 근사 k-NN에서 차원 감소와 베이즈 위험에서의 편차 증가 간의 트레이드오프는 어떠한가?

주요 결과

• k-NN는 랜덤 노이즈 하에서도 노이즈가 없는 설정과 동일한 일치성 속도를 유지함을 확인하여 강건성을 입증한다.
• 1-NN는 랜덤 노이즈에 의해 편향됨이 증명되었으며, k-NN와 달리 일관성이 유지되지 않는다.
• 존슨-린든스트라우스 보조정리는 무한 집합으로 일반화되었으며, 이는 근사 k-NN의 이론적 분석을 가능하게 한다.
• 근사 k-NN는 랜덤 노이즈에 대해 강건함이 입증되었으며, 정확한 k-NN보다 더 빠른 수렴 속도를 달성한다.
• 근사 k-NN에서 날카로운 차원 감소는 베이즈 위험에서의 편차 증가를 초래하며, 이는 속도와 일치성 간의 트레이드오프를 시사한다.