[논문 리뷰] The Supervised IBP: Neighbourhood Preserving Infinite Latent Feature Models

Novi Quadrianto, Viktoriia Sharmanska외 2명|arXiv (Cornell University)|2013. 09. 26.

Advanced Image and Video Retrieval Techniques참고 문헌 35인용 수 8

한 줄 요약

이 논문은 데이터의 이웃 구조를 유지하는 무한이고 이진 잠재 특징 공간을 추론하는 지도 학습 기반 인디안 빵가게 프로세스(IBP)의 변종을 제안한다. 이웃 구조 유지 원칙과 비모수적 사전확률을 조합함으로써, 검색을 위한 최적의 이진 코드를 동적으로 학습할 수 있으며, 고정된 코드 길이 또는 사전 지정된 특징이 필요 없이 효과적인 최근접 이웃 검색을 가능하게 한다.

ABSTRACT

We propose a probabilistic model to infer supervised latent variables in the Hamming space from observed data. Our model allows simultaneous inference of the number of binary latent variables, and their values. The latent variables preserve neighbourhood structure of the data in a sense that objects in the same semantic concept have similar latent values, and objects in different concepts have dissimilar latent values. We formulate the supervised infinite latent variable problem based on an intuitive principle of pulling objects together if they are of the same type, and pushing them apart if they are not. We then combine this principle with a flexible Indian Buffet Process prior on the latent variables. We show that the inferred supervised latent variables can be directly used to perform a nearest neighbour search for the purpose of retrieval. We introduce a new application of dynamically extending hash codes, and show how to effectively couple the structure of the hash codes with continuously growing structure of the neighbourhood preserving infinite latent feature space.

연구 동기 및 목표

• 관측된 데이터로부터 무한한 수의 이진 잠재 특징을 추론할 수 있는 비모수적 확률 모델을 개발하는 것.
• 유사한 데이터 포인트(동일한 의미 개념)가 유사한 잠재 코드를 받고, 상이한 포인트는 서로 멀어지도록 보장하는 것.
• 유추된 잠재 변수를 해밍 공간에서의 최근접 이웃 검색에 직접적으로 사용할 수 있도록 하는 것.
• 잠재 특징 공간의 성장 구조와 함께 해시 코드를 동적으로 연장하는 것.
• 해시 코드의 구조를 무한하고 이웃 구조를 유지하는 잠재 특징 모델과 결합하는 것.

제안 방법

• 모델은 무한한 수의 이진 잠재 특징을 允허하기 위해 지도 학습 기반 인디안 빵가게 프로세스 사전확률을 사용한다.
• 동일한 클래스에 속한 데이터 포인트를 끌어당기고, 다른 클래스의 포인트는 밀어내는 방식으로 이웃 구조 유지 원칙을 강제한다.
• 유추 기반 메커니즘은 관측된 데이터와 레이블을 바탕으로 활성화된 이진 특징의 수와 그 값들을 함께 학습한다.
• 잠재 변수는 그들의 해밍 거리가 의미적 유사성과 반영되도록 구조화되어 있다.
• 새로운 데이터가 도착함에 따라 해시 코드를 동적으로 연장할 수 있으며, 변화하는 잠재 공간과 일관성을 유지한다.
• 이웃 구조 유지 원칙 하에 특징 선택과 코드 할당을 동시에 최적화하기 위해 확률적 프레임워크를 사용한다.

실험 결과

연구 질문

• RQ1 지도 학습 환경에서 데이터의 이웃 구조를 유지하는 무한한 수의 이진 잠재 특징을 어떻게 추론할 수 있는가?
• RQ2 해시 코드의 구조를 비모수적이고 진화하는 잠재 특징 공간과 효과적으로 결합하는 방법은 무엇인가?
• RQ3 IBP와 같은 비모수적 사전확률을 의미적 유사성을 잠재 코드 유사성으로 강제하기 위해 어떻게 적응시킬 수 있는가?
• RQ4 새로운 데이터가 도입될 때 모델이 해시 코드 표현을 어떻게 동적으로 연장할 수 있는가?
• RQ5 유추된 잠재 공간은 최근접 이웃 검색 성능에 어느 정도 향상시키는가?

주요 결과

• 모델은 고정된 코드 길이가 필요 없이 무한한 수의 이진 잠재 특징을 성공적으로 추론한다.
• 유추된 잠재 코드는 이웃 구조를 유지하며, 유사한 데이터 포인트는 더 유사한 코드를 갖는다.
• 모델은 해밍 공간에서의 최근접 이웃 검색을 위해 유추된 잠재 코드를 직접적으로 사용할 수 있다.
• 해시 코드의 동적 연장은 변화하는 잠재 특징 공간과 일관성을 유지한다.
• 고정 길이 해싱 기반 모델들과 비교해도 경쟁 가능한 검색 성능을 달성한다.
• 잠재 구조의 점진적 학습을 통해 모델은 확장성과 새로운 데이터에 대한 적응성을 입증한다.