[논문 리뷰] Effective Image Retrieval via Multilinear Multi-index Fusion

Zhizhong Zhang, Yuan Xie외 2명|arXiv (Cornell University)|2017. 09. 27.

Advanced Image and Video Retrieval Techniques참고 문헌 35인용 수 3

한 줄 요약

이 논문은 t-SVD 기반 텐서 노름을 사용하여 고차원의 보완적 정보를 다중 시각적 표현 간에 포괄적으로 캡처하는 통합 텐서 공간에서 인덱스별 기능 행렬을 최적화함으로써 이미지 검색을 위한 다중선형 다중색인 융합(MMF) 방법을 제안한다. 이 방법은 희소 제약 조건과 증강 라그랑주 방법을 통한 효율적 최적화를 활용하여 최소한의 온라인 메모리 오버헤드로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Multi-index fusion has demonstrated impressive performances in retrieval task by integrating different visual representations in a unified framework. However, previous works mainly consider propagating similarities via neighbor structure, ignoring the high order information among different visual representations. In this paper, we propose a new multi-index fusion scheme for image retrieval. By formulating this procedure as a multilinear based optimization problem, the complementary information hidden in different indexes can be explored more thoroughly. Specially, we first build our multiple indexes from various visual representations. Then a so-called index-specific functional matrix, which aims to propagate similarities, is introduced for updating the original index. The functional matrices are then optimized in a unified tensor space to achieve a refinement, such that the relevant images can be pushed more closer. The optimization problem can be efficiently solved by the augmented Lagrangian method with theoretical convergence guarantee. Unlike the traditional multi-index fusion scheme, our approach embeds the multi-index subspace structure into the new indexes with sparse constraint, thus it has little additional memory consumption in online query stage. Experimental evaluation on three benchmark datasets reveals that the proposed approach achieves the state-of-the-art performance, i.e., N-score 3.94 on UKBench, mAP 94.1\% on Holiday and 62.39\% on Market-1501.

연구 동기 및 목표

• 기존의 다중색인 융합 방법이 서로 다른 시각적 표현 간의 고차원 관계를 忽시하는 한계를 해결하기 위해.
• 통합 텐서 공간에서 인덱스별 및 샘플별 종속성을 모델링하여 다중 인덱스 간의 보완적 정보를 탐색하기 위해.
• 온라인 쿼리 중 메모리 소비를 최소화하기 위해 희소한 인덱스 구조를 유지하는 효율적인 최적화 프레임워크를 개발하기 위해.
• 텐서 노름을 통한 최적화로 학습된 기능 행렬을 통한 유사도 전파를 통해 검색 정확도를 향상시키기 위해.
• 그룹 기반 데이터 분할을 통한 효율적이고 병렬화 가능한 계산을 통해 이론적 수렴성과 확장성을 확보하기 위해.

제안 방법

• 이미지와 시각적 특징 간의 상호작용을 모델링하기 위해 텐서 기반 표현을 사용하여 다중색인 융합을 다중선형 최적화 문제로 공식화한다.
• 기존의 이웃 기반 유사도 전파를 대체하여, 색인 별 기능 행렬을 도입하여 유사도를 색인 간에 전파한다.
• 통합 텐서 공간 내에서 고차원의 낮은 질서의 구조를 포착하기 위해 텐서-특이값 분해(t-SVD)와 텐서 노름을 활용한다.
• 수렴 보장을 갖춘 증강 라그랑주 방법을 적용하여 최적화 문제를 효율적으로 해결한다.
• 역인verted 인덱스 구조의 본질적 희소성을 유지하고 온라인 메모리 사용량을 줄이기 위해 기능 행렬에 희소 제약 조건을 적용한다.
• 데이터셋 분할과 병렬 처리를 가능하게 하기 위해 기능 행렬에 블록 행렬 구조를 도입한다.

실험 결과

연구 질문

• RQ1 시각적 특징과 이미지 간의 고차원 다차원 관계가 효과적으로 모델링되어 이미지 검색 성능이 향상될 수 있는가?
• RQ2 통합 텐서 공간에서 색인 별 기능 행렬이 어떻게 최적화되어 유사도 전파가 향상될 수 있는가?
• RQ3 기존의 이웃 기반 융합과 비교해 텐서 기반 낮은 질서의 구조를 통합함으로써 검색 정확도가 얼마나 향상되는가?
• RQ4 제안된 방법이 온라인 검색에서 추가적인 메모리 비용을 최소화하면서도 높은 성능을 유지할 수 있는가?
• RQ5 GIST 특징와 같은 약한 또는 저품질 인덱스를 통합할 경우 이 방법의 견고성은 어떠한가?

주요 결과

• 제안된 MMF 방법은 UKBench 데이터셋에서 최신 기술 수준의 N-스코어 3.94를 달성한다.
• Holidays 데이터셋에서 평균 평균 정밀도(mAP)가 94.1%에 도달하여 기존 방법들을 능가한다.
• Market-1501 데이터셋에서 랭크-1 정확도가 62.39%를 기록하여 인물 재식별에서 강력한 성능을 보여준다.
• 기능 행렬에 희소 제약 조건을 제거할 경우 랭크-1 오차가 약 5%p 감소함으로써, 성능과 확장성 모두에서 그 중요성을 확인한다.
• Market-1501에서 학습된 기능 행렬은 약 97% 희소성을 보이며, 강력한 부분공간 구조와 효율적인 메모리 사용을 나타낸다.
• 수렴 곡선은 30~50회 반복 이내에 안정적이고 빠른 수렴을 보이며, 반복당 수백 밀리초 내에 최적 성능에 도달한다.