[논문 리뷰] Unsupervised Feature Learning for low-level Local Image Descriptors

Christian Osendorfer, Justin Bayer외 2명|arXiv (Cornell University)|2013. 01. 14.

Advanced Image and Video Retrieval Techniques참고 문헌 42인용 수 4

한 줄 요약

이 논문은 감독 없이도 저수준 국소 이미지 기능 기술자(디스크립터)를 학습하기 위해 비지도 특징 학습 방법—특히 제한 동질성 막대기 모델(Restricted Boltzmann Machines, RBMs)—을 평가한다. 평균 공분산 RBM(median covariance RBM, mcRBM)는 실수값을 가지며 압축된 이진 기능 기술자를 학습하며, 이는 대조 매칭 벤치마크에서 최신 수준의 수작업 기반 기술자들과 동등하거나 그 이상의 성능을 보이며, 비지도 학습이 컴퓨터 비전 작업을 위한 분류 가능한 저수준 특징을 효과적으로 포착할 수 있음을 보여준다.

ABSTRACT

Unsupervised feature learning has shown impressive results for a wide range of input modalities, in particular for object classification tasks in computer vision. Using a large amount of unlabeled data, unsupervised feature learning methods are utilized to construct high-level representations that are discriminative enough for subsequently trained supervised classification algorithms. However, it has never been \emph{quantitatively} investigated yet how well unsupervised learning methods can find \emph{low-level representations} for image patches without any additional supervision. In this paper we examine the performance of pure unsupervised methods on a low-level correspondence task, a problem that is central to many Computer Vision applications. We find that a special type of Restricted Boltzmann Machines (RBMs) performs comparably to hand-crafted descriptors. Additionally, a simple binarization scheme produces compact representations that perform better than several state-of-the-art descriptors.

연구 동기 및 목표

• 후속 감독 분류에 의존하지 않고, 직접적으로 저수준 이미지 기능 기술자 작업에 비지도 특징 학습 방법을 평가하기 위해.
• 비지도 방법이 대응 매칭이라는 컴퓨터 비전의 核심 작업을 위해 경쟁력 있는 국소 이미지 기능 기술자를 학습할 수 있는지 평가하기 위해.
• 비지도 학습이 수작업 기반 기술자들(SIFT 또는 SURF 등)과 비교해도 유사한 성능을 보이는 압축된 고성능 기능 기술자를 생성할 수 있는지 조사하기 위해.
• 다양한 조명, 시점, 스케일을 가진 실제 이미지 패치 데이터셋에서 비지도 모델을 평가하기 위해.
• 학습된 특징에서 효율적인 저비트 표현을 만들기 위해 이진화 기법의 잠재력을 탐색하기 위해.

제안 방법

• 150만 개의 64×64 이미지 패치로 구성된 대규모 데이터셋에서 가우시안 RBM(GRBM), 희소 GRBM(spGRBM), 평균 공분산 RBM(mcRBM)를 훈련.
• mcRBM 활성화를 이진화하기 위해 단순 히ュ리스틱을 사용: 훈련 세트 전체의 모든 은닉 유닛 활성화 값 히스토그램의 중앙값을 임계값으로 사용.
• mcRBM를 사용해 관점 키포인트 중심에 위치한 필터를 학습하며, 이는 로그-폴라 또는 가보르 유사 패턴을 띠며, 키포인트 위치에 따라 공간적 구조가 영향을 받는다.
• 라벨이 부여된 양성 및 음성 패치 쌍으로 구성된 데이터셋을 사용해 모델의 대응 매칭 작업 성능을 평가.
• 매칭에 적합한 압축된 표현을 학습하기 위해 두 층의 아키텍처(median covariance RBM, 64개의 가시 유닛과 576개의 은닉 유닛)를 사용.
• 최적화에 RMSProp을 사용하여 표준 확률적 경사 하강법보다 성능 향상을 이룸.

실험 결과

연구 질문

• RQ1 비지도 특징 학습 방법이 감독 없이도 수작업 기반 기술자들과 경쟁 가능한 저수준 이미지 기능 기술자를 생성할 수 있는가?
• RQ2 가우시안 RBM(GRBM), 희소 GRBM(spGRBM), 평균 공분산 RBM(mcRBM)와 같은 다양한 유형의 RBM이 직접적인 대응 매칭 작업에서 얼마나 잘 수행되는가?
• RQ3 간단한 이진화 기법이 비지도 특징에서 압축되고 고성능인 기능 기술자를 생성할 수 있는가?
• RQ4 비지도 모델이 학습한 필터들이 최신 수준의 기술자에서 사용되는 알려진 효과적인 필터 패턴과 유사한가?
• RQ5 비지도 학습이 키포인트 주변의 공간적 구조, 예를 들어 로그-폴라 또는 가보르 유사 패턴을 효과적으로 포착할 수 있는가?

주요 결과

• 평균 공분산 RBM(mcRBM)는 대응 매칭 작업에서 SIFT와 같은 수작업 기반 기술자들과 비교해 실수값 기능 기술자를 생성하며 동등한 성능을 보인다.
• 모든 훈련 세트의 은닉 유닛 활성화 중앙값을 기반으로 한 단순한 이진화 기법은 64비트 이진 기능 기술자를 생성하며, 여러 최신 수준의 수작업 기반 기술자들을 능가하는 성능을 보인다.
• mcRBM는 키포인트가 중심에 위치할 경우 로그-폴라 및 가보르 유사 패턴을 띠는 필터를 학습하며, 이는 효과적인 공간 모델링을 의미한다.
• 비선형성과 RMSProp 최적화를 적용했음에도 불구하고, spGRBM 및 GRBM 모델은 경쟁력 있는 압축된 표현을 도출하지 못했다.
• 고정된 토폴로지 구조를 가진 투영 행렬 P를 사용한 mcRBM는 키포인트 주변에 가보르 유사 필터를 체계적으로 배열하며, 이는 구조적인 공간 학습을 시사한다.
• Half Dome 데이터셋에서 성능이 최적화되지 않아, 스케일 인자값을 고정하는 대신 학습시켜야 할 가능성이 있다.