[논문 리뷰] Exemplar-Centered Supervised Shallow Parametric Data Embedding

Martin Renqiang Min, Hongyu Guo외 1명|arXiv (Cornell University)|2017. 02. 21.

Face and Expression Recognition참고 문헌 15인용 수 8

한 줄 요약

이 논문은 예시 중심의 고차원 매개변수화된 임베딩(이하 en-HOPE)을 제안한다. 이는 쌍별 비교 대신 예시를 사용하여 선형 임베딩 함수를 학습하는 지도 학습 기반의 얕은 매개변수 모델로, 선형 계산 복잡도를 달성한다. MNIST에서 kNN 분류를 최대 463배 빠르게 하며, 기준 데이터셋에서 dt-MCML과 같은 최신 기법들보다 속도와 정확도 면에서 뛰어나다.

ABSTRACT

Metric learning methods for dimensionality reduction in combination with k-Nearest Neighbors (kNN) have been extensively deployed in many classification, data embedding, and information retrieval applications. However, most of these approaches involve pairwise training data comparisons, and thus have quadratic computational complexity with respect to the size of training set, preventing them from scaling to fairly big datasets. Moreover, during testing, comparing test data against all the training data points is also expensive in terms of both computational cost and resources required. Furthermore, previous metrics are either too constrained or too expressive to be well learned. To effectively solve these issues, we present an exemplar-centered supervised shallow parametric data embedding model, using a Maximally Collapsing Metric Learning (MCML) objective. Our strategy learns a shallow high-order parametric embedding function and compares training/test data only with learned or precomputed exemplars, resulting in a cost function with linear computational complexity for both training and testing. We also empirically demonstrate, using several benchmark datasets, that for classification in two-dimensional embedding space, our approach not only gains speedup of kNN by hundreds of times, but also outperforms state-of-the-art supervised embedding approaches.

연구 동기 및 목표

• 쌍별 학습 비교에 의존하는 전통적인 거리 측정 학습 방법의 제곱형 계산 복잡도 문제를 해결하기 위해.
• 모든 훈련 데이터가 아닌 학습 또는 사전 계산된 예시의 소량의 집합에 국한하여 kNN 비교를 제한함으로써 테스트 비용을 줄이기 위해.
• 차원 감소와 샘플 압축을 결합한 확장 가능하고 빠르며 정확한 임베딩 방법을 개발하기 위해.
• 얕은 매개변수 모델이 표준 벤치마크에서 dt-MCML과 같은 딥 러닝 기반 기법보다 속도와 성능 면에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• 모든 쌍별 학습 비교를 대체하기 위해, 데이터를 저차원 공간으로 매핑하는 고차원 매개변수화된 임베딩 함수를 학습하기 위해 최대 수축 거리 측정 학습(MCML) 목적함수를 사용한다.
• 쌍별 학습 비교를 소량의 공동으로 학습된 예시와의 비교로 대체함으로써 훈련 복잡도를 선형으로 줄인다.
• 추론 과정에서는 테스트 샘플이 오직 이러한 예시들과만 비교되므로, 최소한의 계산 비용으로 빠른 kNN 분류가 가능하다.
• 예시들은 훈련 중에 학습되거나, 훈련 데이터에 대해 지도 기반 k-means 클러스터링을 사용해 사전 계산될 수 있다.
• 임베딩 공간 내의 클래스 간 및 클래스 내 유사도를 모델링하기 위해 스터디언트의 t-분포를 사용한다.
• 클래스 내 수축과 클래스 간 분리가 유도되도록 하는 손실 함수에 대해 경사 하강법을 사용해 임베딩 함수를 최적화한다.

실험 결과

연구 질문

• RQ1 얕은 매개변수 모델이 dt-MCML과 같은 딥 러닝 기반 기법보다 분류 정확도와 속도 면에서 뛰어나게 할 수 있는가?
• RQ2 예시 기반 비교를 통해 훈련 및 테스트 복잡도를 제곱형에서 선형으로 줄일 수 있으며, 성능을 유지할 수 있는가?
• RQ3 k-means 중심에서 사전 계산된 예시를 사용할 경우 학습된 예시와 경쟁 가능한 성능을 낼 수 있는가?
• RQ4 2차원에서 효과적인 클래스 수축을 달성하면서도 높은 분류 정확도를 유지할 수 있는가?

주요 결과

• en-HOPE는 MNIST 데이터셋에서 표준 kNN 대비 463배 빠른 속도를 기록하여 분류 시간을 124.97초에서 0.24초로 단축시켰다.
• MNIST에서 20개의 학습된 예시를 사용한 en-HOPE는 2차원에서 2.66%의 테스트 오차율을 기록했으며, 표준 kNN(3.05%)와 고차원 공간에서의 SNC(6.31%)를 모두 능가했다.
• 20개의 예시를 사용할 경우, 2차원에서 10차원으로 임베딩할 때 오차율이 2.66%에서 2.31%로 감소하여 차원 감소의 이점을 입증했다.
• en-HOPE는 MNIST에서 dt-MCML 대비 316배 빠른 속도를 기록했으며, 임베딩 계산에서 2배의 속도 우위를 확보함에도 불구하고 뛰어난 정확도를 유지했다.
• 단지 10개의 학습된 예시만 사용해도 en-HOPE는 강력한 성능(2.66% 오차율, MNIST 기준)을 기록하여 예시 수에 대한 강건성을 입증했다.
• k-means 중심에서 사전 계산된 예시 역시 경쟁 가능한 성능을 보였으며, 압축에 특화된 SNC와 비교해도 속도와 정확도 면에서 뚜렷한 승리를 거두었다.