[논문 리뷰] Understanding the Fisher Vector: a multimodal part model

David Novotný, Diane Larlus외 2명|arXiv (Cornell University)|2015. 04. 18.

Advanced Image and Video Retrieval Techniques참고 문헌 17인용 수 5

한 줄 요약

이 논문은 피셔 벡터(Fisher Vector, FV) 객체 검출기가 시각적 단어의 고정된 집합을 통해 다중모드의 외관을 포착하는 부분 기반 모델로 작동한다고 제안한다. 작은 코드북을 사용함에도 불구하고 FV는 다중모드 분포를 통해 복잡한 외관 변형을 암묵적으로 모델링함으로써 뛰어난 성능을 달성하며, 패치 수준 및 구성 요소 수준의 희소성 특성을 보이며, 정확도 손실을 최소화하면서도 상당한 계산 가속을 가능하게 한다.

ABSTRACT

Fisher Vectors and related orderless visual statistics have demonstrated excellent performance in object detection, sometimes superior to established approaches such as the Deformable Part Models. However, it remains unclear how these models can capture complex appearance variations using visual codebooks of limited sizes and coarse geometric information. In this work, we propose to interpret Fisher-Vector-based object detectors as part-based models. Through the use of several visualizations and experiments, we show that this is a useful insight to explain the good performance of the model. Furthermore, we reveal for the first time several interesting properties of the FV, including its ability to work well using only a small subset of input patches and visual words. Finally, we discuss the relation of the FV and DPM detectors, pointing out differences and commonalities between them.

연구 동기 및 목표

• 작은 시각적 코드북과 군더기 없는 기하 정보를 사용함에도 불구하고 피셔 벡터(FV) 검출기가 뛰어난 성능을 내는 이유를 이해하는 것.
• FV 검출기가 변형 가능한 부분 모델(Deformable Part Models, DPMs)과 유사한 방식으로 부분 기반 모델로 해석될 수 있는지 조사하는 것.
• 패치 수준 및 시각적 단어 수준에서 FV 검출기의 희소성 특성을 드러내고 정량화하는 것.
• FV와 DPM 간의 외관 변형 모델링 방식에서의 유사점과 차이점을 명확히 하는 것.
• 성능 저하 없이 패치와 가우시안 성분을 잘라내는 데 대한 FV 검출기의 내성에 대한 평가

제안 방법

• 이전 연구에서 재현한 FV 검출 파이프라인을 사용하여, SIFT 특징과 하드 할당을 통해 패치를 성분에 할당하는 가우시안 혼합 모델(Gaussian Mixture Model, GMM)을 적용하였다.
• 각 패치와 성분에 대해 GMM 평균에서의 정규화된 차이와 제곱된 편차를 사용하여 일阶 및 이阶 통계량(Fisher vector 성분)을 계산하였다.
• 가우시안 성분 수준에서 희소성을 유도하기 위해 그룹 라소 정규화를 FV 분류기 가중치에 적용하여 정보가 없는 성분 제거를 장려하였다.
• 두 단계로 이루어진 학습 과정을 사용: 먼저 그룹 라소를 통해 관련된 성분을 식별하고, 그 후 표준 ℓ₂-정규화된 서포트 벡터 머신(SVM)으로 미세조정하여 성능을 복구하였다.
• 희소성 평가를 위해 점차적으로 낮은 점수의 패치와 가우시안 성분을 제거하고, 평균 정밀도(mAP)에 미치는 영향을 측정하였다.
• FV 검출기를 시각화하여 부분 유사한 구조와 다중모드 외관 모델링를 분석하고, DPM의 시각화 결과와 비교하였다.

실험 결과

연구 질문

• RQ1 피셔 벡터 검출기가 부분이 복잡하고 다중모드적인 외관을 포착하는 부분 기반 모델로 의미 있게 해석될 수 있는가?
• RQ2 제한된 시각적 코드북을 사용하고 명시적인 공간 변형 없이 FV 모델이 어떻게 다양한 객체 외관을 포착하는가?
• RQ3 패치와 가우시안 성분 수준에서 FV 검출기를 얼마나 잘라내도 성능 저하가 크지 않은가?
• RQ4 FV와 DPM 간의 부분 모델링 및 희소성 측면에서의 핵심 유사점과 차이점은 무엇인가?
• RQ5 그룹 라소 정규화와 미세조정의 조합이 FV 모델에서 희소성 유도 중 성능 유지를 어떻게 보장하는가?

주요 결과

• FV 검출기는 패치 수준의 희소성을 보이며, mAP 측정 기준으로 최대 80%까지 낮은 점수의 패치를 제거해도 검출 성능에 거의 영향을 주지 않는다.
• FV 검출기는 성분 수준의 희소성도 보이며, 가우시안 성분의 최대 50%를 제거해도 mAP에 미미한 하락만을 보이며, 특히 그룹 라소 정규화 후 미세조정을 수행할 경우 더욱 두드러진다.
• FV 모델은 각 부분에 대해 분포의 곱을 통해 다중모드 외관을 포착하며, 이는 지수 수준의 외관 조합을 암묵적으로 모델링함으로써 외관 변동에 대한 강건성을 설명한다.
• 명시적인 공간 변형 없이도 FV 검출기는 풍부한 다중모드 외관 모델링를 갖춘 고정된 부분 집합을 활용함으로써 DPM과 유사한 성능을 달성한다.
• 그룹 라소 정규화와 ℓ₂ 미세조정의 조합은 효과적인 희소성 유도를 가능하게 하며, 검출 정확도를 유지하면서 추론 시 가속 비율을 비례적으로 증가시킬 수 있다.
• 시각화 결과는 FV 검출기가 해석 가능한 부분 유사한 구조를 포함하고 있음을 확인하며, FV가 다중모드 부분 모델로 간주될 수 있음을 뒷받침한다.