[논문 리뷰] Nearest Neighbour Radial Basis Function Solvers for Deep Neural Networks

Benjamin J. Meyer, Ben Harwood외 1명|arXiv (Cornell University)|2017. 05. 27.

Face and Expression Recognition인용 수 5

한 줄 요약

이 논문은 깊이 신경망을 위한 반경 기저 함수(RBF) 솔버를 제안하며, 각 훈련 특징을 RBF 중심으로 간주하고 임베딩 공간에서 근처 근접 검색을 통해 손실을 계산한다. 엔드 투 엔드 학습을 가능하게 하여 의미적으로 유사한 인스턴스를 군집화함으로써, 거리 메트릭 학습에 대해 Stanford Cars196와 CUB-200-2011에서 최신 기술 성능(SOTA)을 달성하고, 분류 과제에서는 Caltech-256와 CUB-200-2011에서 소프트맥스를 능가한다.

ABSTRACT

We present a radial basis function solver for convolutional neural networks that can be directly applied to both image classification and distance metric learning problems. Our method treats all training features from a deep neural network as radial basis function centres and computes loss by summing the influence of a feature's nearby centres in the embedding space. Having a radial basis function centred on each training feature is made scalable by treating it as an approximate nearest neighbour search problem. End-to-end learning of the network and solver is carried out, mapping high dimensional features into clusters of the same class. This results in a well formed embedding space, where semantically related instances are likely to be located near one another, regardless of whether or not the network was trained on those classes. The same loss function is used for both the metric learning and classification problems. We show that our radial basis function solver sets state-of-the-art embedding results on the Stanford Cars196 and CUB-200-2011 datasets. Additionally, we show that when used as a classifier, our method outperforms a conventional softmax classifier on the Caltech-256 object recognition dataset and the fine-grained recognition dataset CUB-200-2011.

연구 동기 및 목표

• 깊이 신경망을 위한 확장 가능하고 엔드 투 엔드로 학습 가능한 손실 함수를 개발하여, 거리 메트릭 학습과 분류 모두에서 임베딩 공간의 품질을 향상시키는 것.
• 추론 시 클래스별 특화된 지도 없이도 고차원 특징 공간에서 의미적으로 유사한 인스턴스를 군집화하는 문제에 대응하는 것.
• 훈련 특징에 중심을 둔 반경 기저 함수를 사용하여 거리 메트릭 학습과 분류를 하나의 손실 함수로 통합하는 것.
• 일반적인 솔버 하나로 미세한 등급 인식 및 객체 인식 벤치마크에서 최신 기술 성능(SOTA)을 달성하는 것.

제안 방법

• 딥 네트워크의 임베딩 공간 내 각 훈련 특징을 반경 기저 함수 중심으로 간주한다.
• 스케일링을 위해 근접 이웃 검색을 사용하여 임베딩 공간 내 특징의 가장 가까운 이웃들의 영향을 합산함으로써 손실을 계산한다.
• RBF 솔버는 미분 가능하며 신경망과 함께 공동으로 학습되어 특징 군집화를 최적화한다.
• 이 방법은 고차원 특징을 클래스 일관성 있는 군집으로 매핑하여 잘 구조화된 임베딩 공간을 형성한다.
• 단일 손실 함수를 거리 메트릭 학습과 분류 과제에 동일하게 적용한다.
• 특징의 국소적 이웃 구조를 활용하여 일반화 능력과 의미적 유사도를 향상시킨다.

실험 결과

연구 질문

• RQ1 반경 기저 함수 기반의 손실 함수가 깊이 신경망에서 학습된 임베딩의 품질을 향상시킬 수 있는가?
• RQ2 이러한 방법이 거리 메트릭 학습과 분류 벤치마크 양쪽에서 최신 기술 성능(SOTA)을 달성할 수 있는가?
• RQ3 근사 근접 이웃 계산을 사용하여 모든 훈련 특징을 RBF 중심으로 삼는 방법이 대규모 데이터셋에 효과적으로 스케일링될 수 있는가?
• RQ4 아키텍처 변경 없이도 거리 메트릭 학습과 분류에 모두 효과적인 통합된 손실 함수를 설계할 수 있는가?

주요 결과

• 제안된 RBF 솔버는 거리 메트릭 학습에 대해 Stanford Cars196 데이터셋에서 최신 기술 성능(SOTA)을 달성한다.
• 이 방법은 거리 메트릭 학습에 대해 CUB-200-2011 미세한 등급 인식 데이터셋에서 새로운 최신 기술 성능(SOTA) 기록을 수립한다.
• 분류기로 사용할 경우, 이 방법은 객체 인식 데이터셋인 Caltech-256에서 표준 소프트맥스 분류기보다 성능이 뛰어나다.
• 이 방법은 CUB-200-2011 미세한 등급 분류 벤치마크에서도 소프트맥스를 초월하는 정확도를 확보한다.
• RBF 솔버가 형성한 임베딩 공간은 훈련 중에 볼 수 없었던 클래스들에 대해서도 의미적으로 유사한 인스턴스가 강하게 군집되어 있음을 보여준다.