[논문 리뷰] Image Retrieval with Fisher Vectors of Binary Features

Yusuke Uchida, Shigeyuki Sakazawa외 1명|arXiv (Cornell University)|2016. 09. 27.

Advanced Image and Video Retrieval Techniques참고 문헌 37인용 수 5

한 줄 요약

이 논문은 바이너리 특징을 위한 첫 번째 폐쇄형 피셔 벡터 표현을 제안하며, 베르누이 혼합 모델(BMM)을 사용하여 기존의 백오프-비주얼-워드(BoVW)보다 뛰어난 이미지 검색 정확도 향상을 이룬다. 본 방법은 사후 확률 근사화를 통해 계산을 가속화하여 성능 손실가장 최소화하면서도 최대 10배의 속도 향상을 달성하며, BoVW 및 기존 정규화 기법들을 능가한다.

ABSTRACT

Recently, the Fisher vector representation of local features has attracted much attention because of its effectiveness in both image classification and image retrieval. Another trend in the area of image retrieval is the use of binary features such as ORB, FREAK, and BRISK. Considering the significant performance improvement for accuracy in both image classification and retrieval by the Fisher vector of continuous feature descriptors, if the Fisher vector were also to be applied to binary features, we would receive similar benefits in binary feature based image retrieval and classification. In this paper, we derive the closed-form approximation of the Fisher vector of binary features modeled by the Bernoulli mixture model. We also propose accelerating the Fisher vector by using the approximate value of posterior probability. Experiments show that the Fisher vector representation significantly improves the accuracy of image retrieval compared with a bag of binary words approach.

연구 동기 및 목표

• 연속적 특징(예: SIFT)에 대해 효과가 입증된 강력한 피셔 벡터 표현을 이산적 특징인 ORB, FREAK, BRISK 등 바이너리 특징으로 확장하기 위해.
• 현재 최적화되지 않은 백오프-비주얼-워드(BoVW) 기반 접근법에 의존하는 바이너리 특징에 대한 효과적인 인코딩 방법의 부족을 해결하기 위해.
• 바이너리 특징에 대해 베르누이 혼합 모델(BMM) 하에서 피셔 벡터의 폐쇄형 근사를 유도함으로써 실용적 구현이 가능하도록 하기 위해.
• 사후 확률의 근사화를 통해 바이너리 특징의 피셔 벡터 계산을 가속화하여 런타임을 한 단계 감소시키기 위해.

제안 방법

• 각 바이너리 기술자의 비트를 베르누이 분포를 따르는 랜덤 변수로 간주하여 바이너리 특징을 베르누이 혼합 모델(BMM)로 모델링한다.
• 대각 행렬 형태의 피셔 정보 행렬과 피크형 사후 확률 분포를 가정할 때, 모델 파라미터에 대한 로그우도의 기울기를 계산하여 BMM에 대한 폐쇄형 피셔 벡터 표현을 유도한다.
• 컴퓨터 비용을 줄이면서도 높은 정확도를 유지하기 위해 구성 요소 할당의 사후 확률을 최대 점유 확률을 사용해 근사화한다.
• 피셔 벡터에 파wr 정규화와 ℓ₂ 정규화를 적용하여, 원래 VLAD에 설계된 정규화 기법이 피셔 벡터 성능 향상에도 효과적임을 입증한다.
• 정확한 사후 확률 계산을 구성 요소 확률의 argmax 기반 히우리스틱으로 대체하는 빠른 근사화 방법을 사용하여, 10배의 속도 향상을 달성하면서도 MAP 점수는 3–8% 감소시켰다.
• 다양한 바이너리 특징 유형을 사용하여 표준 이미지 검색 벤치마크에서 검증하며, BoVW 및 표준 정규화 기법과의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 보통 BoVW에서 히스토그램으로 모델링되는 바이너리 특징에 대해 피셔 벡터 표현을 효과적으로 확장할 수 있는가?
• RQ2 바이너리 특징을 베르누이 혼합 모델(BMM)로 모델링하면 단순히 히스토그램을 넘어서는 고차원 통계 정보를 포괄하는 폐쇄형 피셔 벡터를 도출할 수 있는가?
• RQ3 이미지 검색 정확도에 큰 손실 없이 바이너리 특징의 피셔 벡터 계산을 어떻게 가속화할 수 있는가?
• RQ4 기존의 다른 벡터 표현(예: VLAD)에 대해 설계된 정규화 방법이 제안된 바이너리 특징의 피셔 벡터에 적용되었을 때도 성능 향상에 기여하는가?
• RQ5 다양한 객체 유형과 데이터베이스 크기에서 제안된 피셔 벡터는 BoVW에 비해 검색 정확도에서 어떻게 성능을 냈는가?

주요 결과

• 제안된 바이너리 특징을 위한 피셔 벡터 표현은 평가된 모든 데이터셋과 객체 유형에서 기존의 백오프-비주얼-워드(BoVW) 기반 베이스라인을 뛰어넘는 성능을 보였다.
• 파워 정규화와 ℓ₂ 정규화를 적용한 피셔 벡터는 정규화되지 않은 버전보다 훨씬 뛰어난 성능을 보였으며, 이는 최적의 결과를 얻기 위해 정규화가 필수적임을 시사한다.
• 빠른 근사화 방법은 계산 시간을 한 단계 감소시켰으며(10배 빠름), 다양한 데이터셋에서 평균 평균 정밀도(MAP)는 3–8% 감소에 그쳤다.
• 원래 VLAD에 대해 설계된 제안 정규화 방법은 바이너리 특징의 피셔 벡터에 대해서도 효과적으로 작용하여 기존의 정규화 기법들을 능가했다.
• 데이터베이스 크가 커질수록 피셔 벡터의 성능 향상이 더욱 두드러졌으며, 이는 확장성과 강건성을 시사한다.
• 최대 점유 확률을 사용한 사후 확률 근사화는 N=512일 때에도 57%의 정확도를 달성하여 실세계 응용에서의 실용성을 뒷받침한다.