[논문 리뷰] Dual Dense Encoding for Zero-Example Video Retrieval.

Jianfeng Dong, Xirong Li외 3명|arXiv (Cornell University)|2018. 09. 17.

Multimodal Machine Learning Applications인용 수 10

한 줄 요약

이 논문은 중간 개념에 의존하지 않고 직접 시퀀스 간의 다중모달 매칭을 모델링함으로써, 세 가지 벤치마크—MSR-VTT, TRECVID 2016, 2017—에서 제로-예시 영상 검색에서 최신 기술 수준(SOTA) 성능을 달성하는 개념 없음 이중 밀도 인코딩 네트워크를 제안한다. 이는 영상과 자연어 쿼리에 대한 강력한 엔드 투 엔드 밀도 표현을 학습한다.

ABSTRACT

This paper attacks the challenging problem of zero-example video retrieval. In such a retrieval paradigm, an end user searches for unlabeled videos by ad-hoc queries described in natural language text with no visual example provided. Given videos as sequences of frames and queries as sequences of words, an effective sequence-to-sequence cross-modal matching is required. The majority of existing methods are concept based, extracting relevant concepts from queries and videos and accordingly establishing associations between the two modalities. In contrast, this paper takes a concept-free approach, proposing a dual deep encoding network that encodes videos and queries into powerful dense representations of their own. Dual encoding is conceptually simple, practically effective and end-to-end. As experiments on three benchmarks, i.e. MSR-VTT, TRECVID 2016 and 2017 Ad-hoc Video Search show, the proposed solution establishes a new state-of-the-art for zero-example video retrieval.

연구 동기 및 목표

• 사용자가 레이블이 없는 영상과 시각적 예시 없이 자연어 쿼리만으로 영상을 검색하는 제로-예시 영상 검색 문제를 해결하기 위해.
• 중간 시각적 또는 텍스트적 개념에 의존하는 개념 기반 방법의 한계를 극복하기 위해.
• 영상 프레임과 텍스트 쿼리를 직접 밀도 높은 의미론적 표현으로 인코딩하는 단순하면서도 효과적인 엔드 투 엔드 프레임워크를 개발하기 위해.
• 다양한 표준 벤치마크에서 제로-예시 영상 검색의 새로운 최신 기술 수준을 확립하기 위해.

제안 방법

• 영상 프레임과 텍스트 쿼리를 별도의 신경망 인코더를 사용해 밀도 높은 벡터 표현으로 독립적으로 인코딩하는 이중 딥 인코딩 네트워크를 제안한다.
• 중간 개념 검출 없이 영상 및 쿼리의 밀도 높은 임베딩을 직접 비교하는 시퀀스 간 다중모달 매칭 메커니즘을 적용한다.
• 대비 학습 또는 유사한 목표 기반으로 영상 및 쿼리 임베딩 간의 정렬을 최적화하기 위해 엔드 투 엔드 학습을 사용한다.
• 영상 및 텍스트 시퀀스의 장거리 의존성을 모델링하기 위해 어텐션 메커니즘과 트랜스포머 기반 아키텍처를 활용한다.
• 영상 및 쿼리 임베딩 공간 간 의미론적 호환성을 보장하기 위해 공통 프로젝션 헤드 또는 정규화 전략을 적용한다.
• 일치하는 영상-쿼리 쌍 간 유사도를 최대화하고, 일치하지 않는 쌍 간 유사도를 최소화하기 위해 대비 손실을 사용해 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 개념 없이 접근하는 방법이 제로-예시 영상 검색에서 개념 기반 방법보다 우월한가?
• RQ2 엔드 투 엔드 이중 밀도 인코딩은 영상과 자연어 쿼리에 대한 의미론적으로 정렬된 표현을 학습하는 데 얼마나 효과적인가?
• RQ3 제안된 방법은 MSR-VTT 및 TRECVID 2016/2017와 같은 다양한 벤치마크에 일반화되는가?
• RQ4 중간 개념 추출을 제거하면 검색 성능과 모델의 단순성에 어떤 영향을 미치는가?

주요 결과

• 제안된 이중 밀도 인코딩 모델은 제로-예시 영상 검색에서 MSR-VTT 벤치마크에서 새로운 최신 기술 수준(SOTA) 성능을 달성한다.
• 중간 시각적 또는 텍스트적 개념에 의존하지 않고 직접 다중모달 매칭을 모델링함으로써, 기존의 개념 기반 접근 방식을 능가한다.
• 모델은 TRECVID 2016 및 2017 어드혹 영상 검색 벤치마크에서 강력한 성능을 기록하여 데이터셋 간에 우수한 일반화 능력을 입증한다.
• 제거 실험 결과, 개념 없음 설계가 성능 향상과 모델 단순성 향상에 기여한다는 것이 확인된다.