[논문 리뷰] Deep Binaries: Encoding Semantic-Rich Cues for Efficient Textual-Visual Cross Retrieval

Yuming Shen, Li Liu외 2명|arXiv (Cornell University)|2017. 08. 08.

Advanced Image and Video Retrieval Techniques참고 문헌 64인용 수 7

한 줄 요약

이 논문은 교차 모달 검색을 위한 효율적인 방법으로, 의미가 풍부한 이미지 영역과 장문의 서술 문장을 압축된 이진 코드로 인코딩하는 딥 러닝 프레임워크인 Textual-Visual Deep Binaries (TVDB)를 제안한다. 영역 기반의 CNN과 LSTM을 이미지에, 문장에 대한 text-CNN을 사용하며, 스트로스틱 배치 기반 학습 전략을 결합함으로써, COCO, IAPR TC-12, INRIA Web Queries 데이터셋에서 기존의 이진 해싱 방법보다 뚜렷이 뛰어난 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Cross-modal hashing is usually regarded as an effective technique for large-scale textual-visual cross retrieval, where data from different modalities are mapped into a shared Hamming space for matching. Most of the traditional textual-visual binary encoding methods only consider holistic image representations and fail to model descriptive sentences. This renders existing methods inappropriate to handle the rich semantics of informative cross-modal data for quality textual-visual search tasks. To address the problem of hashing cross-modal data with semantic-rich cues, in this paper, a novel integrated deep architecture is developed to effectively encode the detailed semantics of informative images and long descriptive sentences, named as Textual-Visual Deep Binaries (TVDB). In particular, region-based convolutional networks with long short-term memory units are introduced to fully explore image regional details while semantic cues of sentences are modeled by a text convolutional network. Additionally, we propose a stochastic batch-wise training routine, where high-quality binary codes and deep encoding functions are efficiently optimized in an alternating manner. Experiments are conducted on three multimedia datasets, i.e. Microsoft COCO, IAPR TC-12, and INRIA Web Queries, where the proposed TVDB model significantly outperforms state-of-the-art binary coding methods in the task of cross-modal retrieval.

연구 동기 및 목표

• 기존의 교차 모달 해싱 방법이 전체 이미지 표현과 굵은 텍스트 특징에 의존하여 세부적인 의미를 포착하지 못하는 한계를 해결하기 위해.
• 더 나은 교차 모달 검색을 위해 이미지 영역과 장문의 서술 문장으로부터 풍부한 의미적 신호를 모델링하기 위해.
• 스토캐스틱 배치 기반 방식으로 이진 코드와 딥 인코딩 함수를 번갈아가며 최적화하는 효율적인 학습 전략을 개발하기 위해.
• 대규모 데이터에서 계산 효율성을 유지하면서도 압축된 이진 코드로 높은 검색 정확도를 달성하기 위해.

제안 방법

• TVDB는 이미지 영역의 세부적인 공간적 및 의미적 정보를 인코딩하기 위해 영역 기반의 컨볼루션 신경망과 LSTM 유닛을 사용한다.
• 장문의 서술 문장 내 단어 간의 순차적 의존성과 구조적 신호를 모델링하기 위해 텍스트-CNN을 사용한다.
• 각 미니배치 내에서 이진 코드와 딥 인코딩 함수를 번갈아가며 최적화하는 스트로스틱 배치 기반 학습 절차를 사용하여 수렴성과 일반화 성능을 향상시킨다.
• 학습 데이터에서 유도된 유사도 행렬을 사용하여 이진 코드의 최적화를 유도하기 위해 트레이스 최대화 기법을 적용한다.
• 백프로파게이션과의 호환성을 유지하기 위해 이산적 업데이트 전략을 사용한 미분 가능 리프레젠테이션 전략을 통해 학습 중 이진 코드를 갱신한다.
• 공유된 해밍 공간에서 예측된 유사도와 진짜 유사도 간의 차이를 최소화하도록 모델을 공동으로 학습시켜, 교차 모달 유사도의 일致성을 향상시킨다.

실험 결과

연구 질문

• RQ1 지역적 이미지 의미와 문장 수준의 의존성을 포착하는 딥 이진 인코딩이 교차 모달 검색 성능을 향상시킬 수 있는가?
• RQ2 스토캐스틱 배치 기반 학습 전략은 에포크 기반 코드 최적화에 비해 더 빠른 수렴과 더 나은 일반화 성능을 제공하는가?
• RQ3 영역 기반 이미지 특징과 텍스트-CNN의 통합은 전체 이미지 표현과 바구니-오브-워드 텍스트 특징에 비해 교차 모달 해싱에서 어떻게 비교되는가?
• RQ4 제안된 방법이 벤치마크 데이터셋에서 최신 기술 수준의 이진 해싱 기법을 얼마나 뛰어나게 성능을 냈는가?

주요 결과

• TVDB는 Microsoft COCO, IAPR TC-12, INRIA Web Queries 세 가지 기준 데이터셋에서 최신 기술 수준의 평균 평균 정확도(MAP)를 달성하여, 기존의 이진 코드화 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 제거 실험 결과, 지역적 이미지 특징를 제거한 경우(TVDB-I1, TVDB-I2) 또는 텍스트에 바구니-오브-워드를 사용한 경우(TVDB-T1) 검색 성능이 심각하게 저하됨을 확인하였다.
• 텍스트-CNN 대신 LSTM을 사용한 경우(TVDB-T2)는 바구니-오브-워드보다 성능이 뛰어나지만 여전히 전체 TVDB 모델에 비해 열등하여 제안된 텍스트-CNN 아키텍처의 효과성을 확인하였다.
• 스토캐스틱 배치 기반 학습 전략은 에포크 기반 코드 학습 기반 모델(TVDB-E1, TVDB-E2)에 비해 더 빠른 수렴과 더 높은 최고 성능을 달성하였다.
• 이진 코드를 학습 중 고정하는 TVDB-N은 빠르게 수렴하지만 성능이 상당히 낮게 나타나, 코드와 네트워크 파rameter의 공동 최적화가 필수적임을 입증하였다.
• 128비트 코드로도 높은 검색 정확도를 달성하였으며, 상위 5개 검색 결과에서는 '사람', '자전거', '거리'와 같은 다수의 객체를 포함한 복잡한 문장 쿼리에 대해 TVDB가 정확하게 관련 이미지를 검색하는 것을 확인하였다.