[논문 리뷰] Survey of Nearest Neighbor Techniques

Nitin Bhatia, Vandana Bharti|arXiv (Cornell University)|2010. 07. 01.

Advanced Image and Video Retrieval Techniques참고 문헌 10인용 수 457

한 줄 요약

이 논문은 최근접 이웃(NT) 기법을 검토하며, 메모리 사용량과 계산 효율성 간의 상충 관계를 해결하기 위해 구조 없는 방법과 구조 기반 방법으로 분류한다. k-d 트리, 볼 트리, kNN 변종과 같은 핵심 알고리즘을 검토하며, 구조 기반 방법이 검색 시간을 단축시키는 반면, 구조 없는 방법이 메모리 사용량을 최소화함으로써 패턴 인식 및 컴퓨터 비전 분야의 연구자들에게 종합적인 개요를 제공한다.

ABSTRACT

The nearest neighbor (NN) technique is very simple, highly efficient and effective in the field of pattern recognition, text categorization, object recognition etc. Its simplicity is its main advantage, but the disadvantages can't be ignored even. The memory requirement and computation complexity also matter. Many techniques are developed to overcome these limitations. NN techniques are broadly classified into structure less and structure based techniques. In this paper, we present the survey of such techniques. Weighted kNN, Model based kNN, Condensed NN, Reduced NN, Generalized NN are structure less techniques whereas k-d tree, ball tree, Principal Axis Tree, Nearest Feature Line, Tunable NN, Orthogonal Search Tree are structure based algorithms developed on the basis of kNN. The structure less method overcome memory limitation and structure based techniques reduce the computational complexity.

연구 동기 및 목표

• 패턴 인식 및 컴퓨터 비전 분야에서 최근접 이웃 기법에 대한 종합적인 검토를 제공하기 위해.
• 최근접 이웃 알고리즘에서 메모리 사용량과 계산 복잡도 간의 상충 관계를 분석하기 위해.
• 효율성을 향상시키기 위해 구조 없는 방법과 구조 기반 NN 기법을 분류하고 비교하기 위해.
• k-d 트리, 볼 트리, kNN 변종과 같은 핵심 발전 사항을 식별하여 성능 최적화를 위해.
• 응용 분야의 특수한 제약 조건에 따라 연구자가 적절한 NN 방법을 선택할 수 있도록 안내하기 위해.

제안 방법

• 최근접 이웃 기법을 구조 없는(예: 가중치 kNN, 압축된 NN) 및 구조 기반(예: k-d 트리, 볼 트리) 방법으로 분류하기 위해.
• 구조 없는 방법이 학습 데이터 표현을 단순화시켜 메모리 사용량을 줄이는 방식을 분석하기 위해.
• 계층적 공간 분할을 통해 검색 속도를 향상시키는 구조 기반 방법을 검토하기 위해.
• 일반화된 NN과 수직 검색 트리와 같은 기법을 평가하여 정확도와 속도를 향상시키기 위해.
• 모델 기반 kNN과 감소된 NN을 검토하여 정확도와 계산 비용의 균형을 맞추기 위해.
• 각 방법 간의 알고리즘 원리를 비교하여 확장성과 효율성 평가하기 위해.

실험 결과

연구 질문

• RQ1 구조 없는 최근접 이웃 기법은 표준 kNN에 비해 메모리 요구량을 어떻게 줄이는가?
• RQ2 구조 기반 NN 알고리즘에서 계산 효율성과 정확도 사이의 성능 상충 관계는 어떠한가?
• RQ3 k-d 트리와 볼 트리는 어떤 상황에서 기존의 kNN보다 우수한 성능을 발휘하는가?
• RQ4 가중치 kNN과 모델 기반 kNN 변종은 분류 정확도를 어떻게 향상시키는가?
• RQ5 압축된 NN과 감소된 NN의 한계는 분류 성능 유지를 위해 어떤가?

주요 결과

• k-d 트리와 볼 트리와 같은 구조 기반 방법은 데이터를 공간적으로 정렬함으로써 계산 복잡도를 크게 감소시킨다.
• 압축된 NN과 감소된 NN과 같은 구조 없는 기법은 학습 샘플 저장을 최소화함으로써 메모리 사용량을 줄인다.
• 가중치 kNN과 모델 기반 kNN은 이웃의 영향력을 가변적으로 부여함으로써 분류 정확도를 향상시킨다.
• 일반화된 NN과 수직 검색 트리는 조정 가능한 파라미터를 제공하여 속도와 정밀도의 균형을 맞춘다.
• 주축 트리와 최근접 기능선은 고차원 데이터에 대한 효율적인 대안을 제공한다.
• 본 검토는 실제로 구조 기반 색인과 구조 없는 최적화를 조합할 경우 최적의 성능을 달성함을 확인한다.