[논문 리뷰] Iterative Manifold Embedding Layer Learned by Incomplete Data for Large-scale Image Retrieval

Jian Xu, Chunheng Wang외 3명|arXiv (Cornell University)|2017. 07. 14.

Advanced Image and Video Retrieval Techniques참고 문헌 39인용 수 4

한 줄 요약

이 논문은 이미지 특징을 비완전한 데이터에서 비지도, 오프라인 학습을 통해 저차원 다양체 공간으로 매핑하는 학습 가능한 선형 변환인 반복적 다양체 임bedding(IME) 레이어를 제안한다. 2차 상관관계와 유클리드 보정을 통해 기하거리(geodesic distance)를 반복적으로 개선함으로써, IME 레이어는 거의 즉각적인 고정밀도 이미지 검색을 가능하게 하며, 기존의 다각도 학습 방법보다 120배 이상 빠른 속도를 기록하고, 후처리 없이 다섯 개인 표준 데이터셋에서 최신 기술을 초월한다.

ABSTRACT

Existing manifold learning methods are not appropriate for image retrieval task, because most of them are unable to process query image and they have much additional computational cost especially for large scale database. Therefore, we propose the iterative manifold embedding (IME) layer, of which the weights are learned off-line by unsupervised strategy, to explore the intrinsic manifolds by incomplete data. On the large scale database that contains 27000 images, IME layer is more than 120 times faster than other manifold learning methods to embed the original representations at query time. We embed the original descriptors of database images which lie on manifold in a high dimensional space into manifold-based representations iteratively to generate the IME representations in off-line learning stage. According to the original descriptors and the IME representations of database images, we estimate the weights of IME layer by ridge regression. In on-line retrieval stage, we employ the IME layer to map the original representation of query image with ignorable time cost (2 milliseconds). We experiment on five public standard datasets for image retrieval. The proposed IME layer significantly outperforms related dimension reduction methods and manifold learning methods. Without post-processing, Our IME layer achieves a boost in performance of state-of-the-art image retrieval methods with post-processing on most datasets, and needs less computational cost.

연구 동기 및 목표

• 대규모 이미지 검색에서 기존의 다각도 학습 방법의 비효율성과 적용 불가능성, 특히 높은 쿼리 시간 비용과 새로운 쿼리 이미지를 처리할 수 없는 점을 해결하기 위해.
• 희소하고 비완전한 데이터로 인해 발생하는 k-NN 그래프의 불안정성을 제거하기 위해 2차 상관관계와 기하거리 보정을 활용하기 위해.
• 실시간 이미지 검색을 위한 빠른, 저비용 추론을 가능하게 하는 경량 선형 변환 레이어(IME 레이어)를 설계하기 위해.
• 후처리(예: 재정렬)가 필요한 최신 기술과 비슷하거나 더 나은 성능을 달성하면서도 쿼리 시간에 추가 계산이 필요 없도록 하기 위해.

제안 방법

• IME 레이어는 희소한 훈련 데이터 기반으로 원래의 이미지 기술 특징을 저차원 다각도 표현으로 매핑하기 위해 릿지 회귀를 사용하여 오프라인으로 학습된다.
• 이 방법은 유사한 이웃을 가진 점들이 더 유사하다고 간주함으로써 2차 상관관계를 활용해 k-NN 그래프의 안정성을 반복적으로 향상시킨다.
• 기하거리에 대한 추정 오차를 줄이기 위해 유클리드 거리를 사용해 기하거리 보정을 수행한다. 이는 희소한 다각도에서의 데이터 빈약성으로 인한 오류를 줄이는 데 기여한다.
• 최종 IME 레이어는 반복적 임bedding 과정의 단순화된 선형 근사로, 추론 시 거의 0에 가까운 계산 비용을 제공한다.
• 이 레이어는 CNN 기반 특징(예: R-MAC)과 호환되며, 딥 네트워크의 완전 연결 레이어로 직접 삽입할 수 있다.
• 모델은 전체 스케일의 다각도 구축 없이, 추가된 혼동자(예: Oxford5k, Paris6k)가 포함된 비완전한 데이터로 훈련된다.

실험 결과

연구 질문

• RQ1 비완전한 데이터에서 효율적으로 학습 가능한 다각도 기반 임베딩 레이어를 설계하여 이미지 검색 성능을 향상시킬 수 있는가?
• RQ2 희소 샘플링으로 인한 다각도 학습에서 기하거리 추정 오차를 어떻게 완화할 수 있는가?
• RQ3 선형이고 학습 가능한 레이어가 복잡한 비선형 다각도 방법보다 훨씬 낮은 추론 비용으로 동일하거나 더 나은 성능을 달성할 수 있는가?
• RQ4 제안된 방법이 쿼리 확장 또는 재정렬과 같은 후처리 기법에 의존하는 최신 기술을 초월하는가?

주요 결과

• 27,000장의 이미지 데이터셋에서, IME 레이어는 기존의 다각도 학습 방법(예: IsoMap, LLE)에 비해 쿼리 시간 임베딩 속도에서 120배 이상의 성능 향상을 기록했다.
• 다섯 개인 공개 데이터셋에서, IME 레이어는 IsoMap과 LLE를 포함한 모든 관련 차원 축소 및 다각도 학습 방법을 모든 평가 차원에서 능가했다.
• INSTRE 데이터셋에서, IME 레이어는 최고의 경쟁자인 IsoMap보다 13mAP 이상 높은 성능을 기록하여 뚜렷한 성능 향상을 입증했다.
• 쿼리 확장 또는 재정렬과 같은 후처리 없이도, 대부분의 데이터셋에서 후처리 기법을 사용하는 최신 기술을 뛰어넘었다.
• IME 레이어는 쿼리당 2ms 미만의 추가 시간만 소요되며, 디퓨전 기반 방법은 약 14초의 쿼리 시간을 요구함으로써 그 효율성의 우수성을 입증했다.
• 희소 데이터(예: 5,000장의 이미지에 100,000개의 혼동자)로 훈련된 경우에도 높은 성능 유지를 보이며, 데이터 희소성에 대한 강건성을 입증했다.