[논문 리뷰] Discrete Multi-modal Hashing with Canonical Views for Robust Mobile Landmark Search

Lei Zhu, Zi Huang외 4명|arXiv (Cornell University)|2017. 07. 13.

Advanced Image and Video Retrieval Techniques참고 문헌 52인용 수 11

한 줄 요약

이 논문은 고유한 시점 기반 이산 다중모odal 해싱(CV-DMH)을 제안하며, 이는 고유한 시점을 서브모듈라 최적화를 통해 탐지하고, 이러한 시점에서 다중모달 희소 코딩을 사용해 시각적 콘텐츠를 인코딩하며, 보완 라그랑주 승수 방법을 통한 직접 최적화를 통해 이산 이진 코드를 학습하는 새로운 해싱 프레임워크이다. CV-DMH는 이산성, 비트 상관 없음, 균형 조건을 동시에 강제하여 다수의 데이터셋에서 기존 방법을 능가하는 mAP 성능을 달성하며, 랜드마크 검색 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Mobile landmark search (MLS) recently receives increasing attention for its great practical values. However, it still remains unsolved due to two important challenges. One is high bandwidth consumption of query transmission, and the other is the huge visual variations of query images sent from mobile devices. In this paper, we propose a novel hashing scheme, named as canonical view based discrete multi-modal hashing (CV-DMH), to handle these problems via a novel three-stage learning procedure. First, a submodular function is designed to measure visual representativeness and redundancy of a view set. With it, canonical views, which capture key visual appearances of landmark with limited redundancy, are efficiently discovered with an iterative mining strategy. Second, multi-modal sparse coding is applied to transform visual features from multiple modalities into an intermediate representation. It can robustly and adaptively characterize visual contents of varied landmark images with certain canonical views. Finally, compact binary codes are learned on intermediate representation within a tailored discrete binary embedding model which preserves visual relations of images measured with canonical views and removes the involved noises. In this part, we develop a new augmented Lagrangian multiplier (ALM) based optimization method to directly solve the discrete binary codes. We can not only explicitly deal with the discrete constraint, but also consider the bit-uncorrelated constraint and balance constraint together. Experiments on real world landmark datasets demonstrate the superior performance of CV-DMH over several state-of-the-art methods.

연구 동기 및 목표

• 고대역폭 쿼리 전송 문제와 모바일 랜드마크 검색에서의 극심한 시각적 변동성에 대응하기 위해.
• 최소한의 부복잡성을 유지하면서 핵심 시각적 특징을 반영하는 고유한 시점을 통해 랜드마크 외관을 모델링하여 해싱의 강건성과 분류 능력을 향상시키기 위해.
• 이완 없이 직접 이진 코드를 최적화하는 이산 다중모달 해싱 방법을 개발하여 '이완 후 반올림' 방식에서 발생하는 양자화 오차를 피하기 위해.
• 단순화된 유사도 유지 이진 코드를 학습하여 효율적인 저비트 쿼리 전송과 빠른 검색을 가능하게 하기 위해.
• 다양한 모odal(예: 시각적, 맥락적) 특징을 고유한 시점 기반의 통합 표현에 통합하여 일반화 능력을 향상시키기 위해.

제안 방법

• 시점 집합의 시각적 대표성과 부복잡성을 동시에 측정할 수 있도록 서브모듈라 함수를 설계하여, 이론적 보장이 있는 최적의 고유한 시점을 반복적으로 탐색할 수 있도록 한다.
• 다중모달 희소 코딩은 여러 모달리티의 특징을 고유한 시점에 상대적인 시각적 콘텐츠를 강건하게 인코딩할 수 있는 중간 표현으로 변환한다.
• 이중 표현을 압축 이진 코드로 매핑하기 위한 이산 이진 임베딩 모델을 제안하며, 보완 라그랑주 승수(ADMM) 방법을 통해 이산 제약 조건을 직접 해결한다.
• ADMM 기반 최적화는 이산 코드화, 비트 상관 없음, 균형 조건을 동시에 강제하여, 두 단계의 이완 방법에서 흔히 발생하는 양자화 오차를 피한다.
• 임베딩 공간에서 의미적 관계를 유지하기 위해 시각적 유사성 그래프를 기반으로 라플라시안 행렬을 구성한다.
• 전체 프레임워크는 세 단계로 구성된다: 고유한 시점 탐지, 중간 표현 학습, 이산 이진 코드 최적화.

실험 결과

연구 질문

• RQ1 랜드마크의 대표적이고 부복잡성이 없는 시점인 고유한 시점이 모바일 랜드마크 검색에서 강력한 다중모달 해싱의 안정적인 기초가 될 수 있는가?
• RQ2 다양한 랜드마크의 시각적 외관을 고유한 시점에 상대적으로 효과적으로 표현하기 위해 다중모달 특징을 어떻게 인코딩할 수 있는가?
• RQ3 이완 없이 이진 코드의 직접 이산 최적화가 기존의 '이완 후 반올림' 방식에 비해 검색 성능을 크게 향상시킬 수 있는가?
• RQ4 이산성, 비트 상관 없음, 균형 조건을 동시에 강제함으로써 학습된 해싱 코드의 분류 능력이 얼마나 향상되는가?
• RQ5 최적화 목표 함수의 하이퍼파rameter 변화에 대해 제안된 방법의 안정성은 어느 정도인가?

주요 결과

• CV-DMH는 파리5K, 파리14K, 파리500k의 세 개의 실세계 랜드마크 데이터셋에서 다수의 최신 기술 수준 해싱 방법을 능가하는 뛰어난 평균 평균 정확도(mAP) 성능을 달성한다.
• 제거 실험을 통해 ADMM 기반 직접 이산 최적화가 이산 제약 조건을 이완한 변종보다 성능 향상이著명하게 이루어지며, 양자화 오차를 피하는 것이 효과적임을 검증한다.
• 최적화 목표 함수의 하이퍼파rameter(α, β, γ) 변화에 대해 높은 안정성과 일관된 mAP 성능을 유지함을 입증하여, 제안된 방법이 강건함을 확인한다.
• 수렴 분석 결과, 목적 함수 값이 약 7~8회 반복 후 감소하고 안정화됨을 확인하여 알고리즘의 수렴 행동을 확인한다.
• 모든 설정에서 CV-DMH-III 및 CV-DMH-IV보다 성능이 끈적하게 높게 유지되며, 세 가지 제약 조건을 동시에 강제하는 것이 필수적임을 증명한다.
• 실험 결과, 짧은 이진 코드 길이(예: 128비트)에서도 높은 성능을 유지함을 확인하여 저대역폭 모바일 전송에 적합함을 입증한다.