[논문 리뷰] Group Invariant Deep Representations for Image Instance Retrieval

Olivier Morère, Antoine Veillard외 4명|arXiv (Cornell University)|2016. 01. 09.

Advanced Image and Video Retrieval Techniques참고 문헌 16인용 수 11

한 줄 요약

이 논문은 군 불변 이론을 활용하여 컨volutional 신경망(CNN)에서 압축되고 군 불변인 깊이 전역 기능을 생성하는 새로운 방법을 제안한다. 이는 기울기, 이동, 스케일 변환과 같은 변환에 대해 강건한 이미지 인스턴스 검색을 가능하게 한다. 이 방법은 기준선 대비 최대 86% 향상된 정확도를 달성하며, 낮은 차원성과 과적합을 최소화하면서 다양한 데이터셋 간에 잘 일반화된다.

ABSTRACT

Most image instance retrieval pipelines are based on comparison of vectors known as global image descriptors between a query image and the database images. Due to their success in large scale image classification, representations extracted from Convolutional Neural Networks (CNN) are quickly gaining ground on Fisher Vectors (FVs) as state-of-the-art global descriptors for image instance retrieval. While CNN-based descriptors are generally remarked for good retrieval performance at lower bitrates, they nevertheless present a number of drawbacks including the lack of robustness to common object transformations such as rotations compared with their interest point based FV counterparts. In this paper, we propose a method for computing invariant global descriptors from CNNs. Our method implements a recently proposed mathematical theory for invariance in a sensory cortex modeled as a feedforward neural network. The resulting global descriptors can be made invariant to multiple arbitrary transformation groups while retaining good discriminativeness. Based on a thorough empirical evaluation using several publicly available datasets, we show that our method is able to significantly and consistently improve retrieval results every time a new type of invariance is incorporated. We also show that our method which has few parameters is not prone to overfitting: improvements generalize well across datasets with different properties with regard to invariances. Finally, we show that our descriptors are able to compare favourably to other state-of-the-art compact descriptors in similar bitranges, exceeding the highest retrieval results reported in the literature on some datasets. A dedicated dimensionality reduction step --quantization or hashing-- may be able to further improve the competitiveness of the descriptors.

연구 동기 및 목표

• 회전, 스케일링 등 일반적인 물체 변환에 대해 기존 CNN 기반 전역 기능의 강건성 부족 문제를 해결하기 위해.
• 수학적으로 탄탄한 이론 기반으로 다중 변환 군(예: 회전, 이동, 스케일)의 불변성을 CNN 기반 전역 기능에 통합하는 방법을 개발하기 위해.
• 기존 최고 수준의 방법과 유사한 비트레이트에서 검색 정확도를 뛰어넘는 압축된, 저차원의 기능을 생성하기 위해.
• 다양한 데이터셋 간에 다양한 불변성 특성을 지닌 이미지 검색 데이터셋에 대해 잘 일반화되며 과적합 위험을 최소화하기 위해.
• 통계적 풀링(예: 평균, 분산, 고차원 모멘트)이 불변성과 성능 향상에 기여하는지 검증하기 위해.

제안 방법

• 이론 기반의 군 불변성 이론(i-이론)을 CNN 특징에 적용하며, 특히 변환 군에 대한 불변성을 확보하기 위해 pool5 레이어를 기본 표현으로 사용한다.
• 각 변환 군(G_S, G_T, G_R 각각 스케일, 이동, 회전에 대응)에 대해 입력 이미지의 변환된 복수의 버전에 대해 통계 모멘트(예: 평균, 두 번째 차수, 무한 차수)를 계산한다.
• 최종 기능은 여러 변환 군에 걸쳐 풀링된 특징을 스택하여 구성되며, 이는 압축되고 불변인 전역 기능을 형성한다.
• i-이론과 호환되는 피드포워드 네트워크 구조를 사용하여, 불변성 학습을 위한 역전파(backpropagation)가 필요 없도록 한다.
• 임의의 변환 군 조합과 통계 모멘트 조합을 지원하며, 실험적으로 최적의 구성(예: A_GS–S_GT–M_GR)을 선별한다.
• 간단한 임계값 기반 이진화 단계를 적용하여 압축된 이진 해시를 생성하며, 이는 강력한 검색 성능을 유지한다.

실험 결과

연구 질문

• RQ1 이론적 프레임워크를 활용해 CNN 기반 전역 기능에 다중 변환 군(회전, 이동, 스케일)에 대한 불변성을 효과적으로 통합할 수 있는가?
• RQ2 고차원 통계 모멘트(예: 평균, 분산, 무한 차수)를 통합함으로써 전역 기능의 강건성과 성능 향상이 이루어지는가?
• RQ3 결과로 도출된 기능이 다양한 이미지 검색 데이터셋 간에 잘 일반화되며, 각 데이터셋의 고유한 불변성 특성을 반영하는가?
• RQ4 비트레이트 효율성과 정확도 측면에서 기존 최고 수준의 압축 기능과 비교해 본 결과, 제안된 방법의 성능는 어떠한가?
• RQ5 추가적인 하이퍼파rameter를 도입함에도 불구하고 과적합에 얼마나 강건한가?

주요 결과

• 제안된 방법은 UKBench 데이터셋(다수의 기울인 이미지 포함)에서 기준선 pool5 기능 대비 최대 86% 향상된 검색 정확도를 달성한다.
• 최적의 통계 모멘트(A_GS–S_GT–M_GR)를 사용해 스케일, 이동, 회전의 세 변환 군을 통합한 결과, 모든 데이터셋에서 기준 pool5 기능 대비 평균 41% 향상된 성능을 기록한다.
• 데이터셋에 따라 29%에서 86%까지 성능 향상이 이루어지며, 특히 회전 분산이 높은 데이터셋에서 더 큰 향상이 관찰된다.
• 최고의 성능 기능인 A_GS–S_GT–M_GR은 fc6 대비 평균 mAP에서 26% 높은 성능을 보이며, 표현 크기는 256배 작다.
• 간단한 이진화 단계를 통해 생성된 512비트 해시는 pool5 대비 39% 높은 성능을 보이며, 유사 비트레이트를 가진 다른 최고 수준의 압축 기능과 경쟁 가능한 성능을 기록한다.
• 이 방법은 다양한 데이터셋 간에 잘 일반화되며, 데이터셋 고유의 불변성 특성에 관계없이 일관된 향상이 관찰되어 과적합 위험은 낮다.