[논문 리뷰] Learning Deep Nearest Neighbor Representations Using Differentiable Boundary Trees

Daniel Zoran, Balaji Lakshminarayanan외 1명|arXiv (Cornell University)|2017. 02. 28.

Anomaly Detection Techniques and Applications참고 문헌 11인용 수 7

한 줄 요약

이 논문은 트리 탐색 과정을 미분 가능하게 만들어 k-최근접 이웃(k-NN) 방법에 대한 엔드 투 엔드 학습을 가능하게 하는 가중치로 구조화된 경계 트리(differentiable boundary trees)를 제안한다. 확률적 탐색 설정을 통해 트리 구조를 거꾸로 전파함으로써, 압축되고 해석 가능한 표현을 학습하며, k-NN 성능을 크게 향상시킨다. MNIST에서 단지 25개의 트리 노드로도 테스트 오차가 2% 미만이 된다.

ABSTRACT

Nearest neighbor (kNN) methods have been gaining popularity in recent years in light of advances in hardware and efficiency of algorithms. There is a plethora of methods to choose from today, each with their own advantages and disadvantages. One requirement shared between all kNN based methods is the need for a good representation and distance measure between samples. We introduce a new method called differentiable boundary tree which allows for learning deep kNN representations. We build on the recently proposed boundary tree algorithm which allows for efficient nearest neighbor classification, regression and retrieval. By modelling traversals in the tree as stochastic events, we are able to form a differentiable cost function which is associated with the tree's predictions. Using a deep neural network to transform the data and back-propagating through the tree allows us to learn good representations for kNN methods. We demonstrate that our method is able to learn suitable representations allowing for very efficient trees with a clearly interpretable structure.

연구 동기 및 목표

• 기존에 수작업 또는 고정된 거리 측정법에 의존하는 k-NN 방법에 대해 효과적이고 데이터 기반의 표현을 학습하는 데 도전한다.
• k-NN 추론 과정을 통해 미분 가능하게 만들어 딥 네ural 네트워크의 엔드 투 엔드 학습을 가능하게 한다.
• 대표적 예제와 경계 예제만을 저장하는 압축되고 해석 가능한 트리 구조를 구성함으로써 모델의 해석 가능성을 향상시킨다.
• 학습된 표현이 원시 특징이나 직접 학습된 분류기보다 k-NN 효율성과 성능 측면에서 뛰어나다는 것을 입증한다.

제안 방법

• 트리 탐색을 확률적 결정으로 모델링하여 이산 경로 선택 과정을 통해 역전파가 가능하도록 한다.
• 특정 탐색 경로 선택 확률에 기반한 미분 가능한 비용 함수를 유도함으로써 표현 네트워크로의 기울기 흐름을 허용한다.
• 딥 네ural 네트워크는 입력 데이터를 k-NN 쿼리가 경계 트리를 통해 더 정확하고 효율적으로 수행될 수 있는 표현 공간으로 변환한다.
• 경계 트리는 온라인으로 구성된다: 각 쿼리는 가장 가까운 노드로 탐색되며, 잘못 분류된 경우 쿼리가 새로운 자식 노드가 된다. 이 과정에서 클래스 경계를 횡단하는 것을 유지한다.
• 이 방법은 이산적 탐색을 미분 가능한 근사로 변환하여, 역전파를 통해 네트워크 파라미터에 대한 기울기 업데이트를 가능하게 한다.
• 최종 모델은 임베딩 공간에서 클래스를 명확히 분리하는 표현을 학습함으로써, 작고 높은 성능을 보이는 트리를 가능하게 한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 학습을 통해 정확하고 효율적인 k-NN 방법을 위한 딥 표현을 학습할 수 있는가?
• RQ2 이산적 트리 탐색 과정을 어떻게 미분 가능하게 만들 수 있으며, 이를 통해 k-NN 추론 메커니즘을 거쳐 역전파를 가능하게 할 수 있는가?
• RQ3 결과로 도출된 표현이 대표적 예제와 경계 예제만을 저장하는 압축되고 해석 가능한 경계 트리로 이어지는가?
• RQ4 학습된 표현이 원시 특징이나 직접 학습된 분류기보다 k-NN 성능과 트리 크기 측면에서 뛰어나게 되는가?

주요 결과

• 이 방법은 경계 트리에 단지 25개의 노드만을 사용하여 MNIST에서 2% 미만의 테스트 오차를 달성하여 원시 픽셀 특징을 사용하는 것보다 뚜렷이 뛰어나다.
• t-SNE 시각화를 통해 학습된 20차원 표현이 직접 학습된 분류기의 특징보다 MNIST 클래스를 더 명확히 분리하는 것으로 나타났다.
• 분류 작업을 위해 딥 네트워크를 직접 학습시키면 k-NN에 적합하지 않은 표현이 도출되며, 이는 더 높은 오차와 더 큰 트리 크기를 보여준다.
• CIFAR-10에서, 사전 학습된 VGG 스타일의 표현을 기반으로 100개의 샘플만으로 학습된 경계 트리는 22개의 노드로 13.06%의 테스트 오차를 기록했다.
• 학습이 진행됨에 따라 트리의 노드 수가 급격히 감소하여, 학습이 끝날 무렵 약 25개의 노드로 줄어들며, 이는 표현 품질 향상을 시사한다.