[논문 리뷰] Encoding High Dimensional Local Features by Sparse Coding Based Fisher Vectors

Lingqiao Liu, Chunhua Shen외 3명|arXiv (Cornell University)|2014. 11. 24.

Advanced Image and Video Retrieval Techniques참고 문헌 23인용 수 67

한 줄 요약

이 논문은 고차원 국소적 특징을 표본 추출한 부분공간에서의 가우시안 평균을 이용해 모델링하는 스파스 코딩 기반 피셔 벡터 코딩(SCFVC)을 제안한다. 이는 효율적인 스파스 코딩 기반 추론을 가능하게 하며, 기존의 GMM 기반 피셔 벡터 코딩보다 고차원 특징에서 뚜렷한 성능 향상을 보이며, 일반적인 물체, 실내 환경, 세분화된 이미지 분류 과제에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Deriving from the gradient vector of a generative model of local features, Fisher vector coding (FVC) has been identified as an effective coding method for image classification. Most, if not all, % FVC implementations employ the Gaussian mixture model (GMM) to characterize the generation process of local features. This choice has shown to be sufficient for traditional low dimensional local features, e.g., SIFT; and typically, good performance can be achieved with only a few hundred Gaussian distributions. However, the same number of Gaussians is insufficient to model the feature space spanned by higher dimensional local features, which have become popular recently. In order to improve the modeling capacity for high dimensional features, it turns out to be inefficient and computationally impractical to simply increase the number of Gaussians. In this paper, we propose a model in which each local feature is drawn from a Gaussian distribution whose mean vector is sampled from a subspace. With certain approximation, this model can be converted to a sparse coding procedure and the learning/inference problems can be readily solved by standard sparse coding methods. By calculating the gradient vector of the proposed model, we derive a new fisher vector encoding strategy, termed Sparse Coding based Fisher Vector Coding (SCFVC). Moreover, we adopt the recently developed Deep Convolutional Neural Network (CNN) descriptor as a high dimensional local feature and implement image classification with the proposed SCFVC. Our experimental evaluations demonstrate that our method not only significantly outperforms the traditional GMM based Fisher vector encoding but also achieves the state-of-the-art performance in generic object recognition, indoor scene, and fine-grained image classification problems.

연구 동기 및 목표

• 고차원 국소적 특징를 모델링하는 데에 충분한 모델링 능력이 부족한 가우시안 믹스처 모델(GMM) 기반 피셔 벡터 코딩의 한계를 해결하기 위해.
• 고차원 특징 공간을 모델링하기 위해 GMM 성분 수를 늘리는 것이 계산적으로 비현실적인 문제를 해결하기 위해.
• 고차원 특징를 위한 높은 분류 능력을 유지하면서도 확장 가능하고 효율적인 GMM-FVC의 대안을 개발하기 위해.
• 다양한 이미지 분류 과제에서 깊이 신경망(CNN) 활성화값을 국소적 특징으로 사용할 때 SCFVC의 우수성을 입증하기 위해.

제안 방법

• 각 국소적 특징이 낮은 차원의 부분공간에서 표본 추출된 평균을 가진 가우시안 분포에서 유래된 생성 모델을 제안한다.
• 표준 스파스 코딩 솔버를 사용한 학습 및 추론을 가능하게 하기 위해 모델을 스파스 코딩 문제로 근사한다.
• 모델 파라미터에 대한 로그우도의 기울기를 계산하여 피셔 벡터 인코딩을 유도함으로써 SCFVC를 도출한다.
• 이미지 표현을 위한 고차원 국소 기술자로 사전 학습된 깊이 컨volution 신경망(CNN) 특징을 활용한다.
• CNN 기반 국소적 특징을 SCFVC로 인코딩하여 완전한 이미지 분류 파이프라인을 구성한다.
• 학습된 FISTA, 직교 매칭 추적 등 효율적인 스파스 코딩 알고리즘을 활용하여 계산의 실현 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 기존의 GMM 기반 피셔 벡터 코딩은 딥 CNN 활성화값과 같은 고차원 국소적 특징를 효과적으로 모델링할 수 있는가?
• RQ2 표준 GMM에 비해 부분공간 내 점으로서 가우시안 평균을 모델링하는 것이 고차원 특징에 대한 표현 능력을 향상시키는가?
• RQ3 제안된 모델를 스파스 코딩 문제로 재정의하여 효율적인 학습 및 추론을 가능하게 할 수 있는가?
• RQ4 다양한 이미지 분류 벤치마크에서 고차원 특징를 인코딩할 때 SCFVC가 GMM-FVC를 능가하는가?
• RQ5 SCFVC는 일반적인 물체, 실내 환경, 세분화된 이미지 분류 과제에서 최신 기술 수준 성능을 달성할 수 있는가?

주요 결과

• 100개의 기저와 1000차원 CNN 특징를 사용할 때 SCFVC는 MIT-67 데이터셋에서 68.1%의 정확도를 달성하였으며, 이는 400개 혼합 성분과 300D 특징를 사용한 GMM-FVC(64.0%)와 1000개 혼합 성분과 100D 특징를 사용한 GMM-FVC(60.8%)보다 뚜렷한 성능 향상을 보였다.
• 저차원 특징(예: 100D)에서는 SCFVC와 GMM-FVC가 유사한 성능을 보였지만, SCFVC는 100D에서 1000D로 전환할 때 7%의 성능 향상을 보였고, GMM-FVC는 4%의 향상에 그쳤다.
• PCA를 통해 고차원 특징를 압축하고 GMM 성분 수를 늘리는 것은 분류 능력을 회복하지 못했으며, 이는 고차원 특징가 필수 정보를 유지하고 있음을 시사한다.
• 세분화된 새 분류 과제에서 SCFVC는 부분 기반 정보를 사용하는 방법(DPD+CNN+LogReg)보다 성능이 뛰어나, SCFVC로 인코딩된 깊이 특징가 부분 기반 모델보다 더 효과적임을 시사한다.
• 기저 수가 적은 경우(예: 100개)에도 강력한 성능 유지를 보이며, 이는 효율성과 확장성의 우수성을 입증한다.
• 근사 스파스 코딩 알고리즘을 통해 계산 효율성이 유지되어, 고차원 모델링의 복잡성 증가에도 불구하고 SCFVC는 실용적인 성능을 유지를 한다.