[논문 리뷰] Word2VisualVec: Image and Video to Sentence Matching by Visual Feature Prediction

Jianfeng Dong, Xirong Li외 1명|arXiv (Cornell University)|2016. 04. 23.

Multimodal Machine Learning Applications참고 문헌 61인용 수 45

한 줄 요약

이 논문은 이미지와 영상을 문장과 매칭하기 위해 공동 임베딩 공간을 거치지 않고 텍스트 기반으로 직접 깊이 있는 시각적 특징을 예측하는 딥 뉴럴 네트워크인 Word2VisualVec를 제안한다. 문장 벡터화를 위해 word2vec을 활용하고 다층 퍼셉트론을 통해 텍스트를 시각적 특징 공간으로 매핑함으로써, 4개의 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다. 이는 3D-CNN 및 음성-시각 특징을 포함한 영상에 대한 특징 예측에도 적용된다.

ABSTRACT

This paper strives to find the sentence best describing the content of an image or video. Different from existing works, which rely on a joint subspace for image / video to sentence matching, we propose to do so in a visual space only. We contribute Word2VisualVec, a deep neural network architecture that learns to predict a deep visual encoding of textual input based on sentence vectorization and a multi-layer perceptron. We thoroughly analyze its architectural design, by varying the sentence vectorization strategy, network depth and the deep feature to predict for image to sentence matching. We also generalize Word2VisualVec for matching a video to a sentence, by extending the predictive abilities to 3-D ConvNet features as well as a visual-audio representation. Experiments on four challenging image and video benchmarks detail Word2VisualVec's properties, capabilities for image and video to sentence matching, and on all datasets its state-of-the-art results.

연구 동기 및 목표

• 공동 부분공간 학습에 의존하지 않고 이미지 및 영상-문장 매칭 문제를 해결하기 위해.
• 교차 모odal 매칭을 위한 유일한 공유 공간으로 깊이 있는 시각적 특징 공간의 타당성을 탐색하기 위해.
• 자연어 기반 설명으로부터 다양한 시각적 특징(예: ResNet, GoogLeNet 또는 3D-CNN)을 예측할 수 있는 모델을 개발하기 위해.
• 음성-시각 표현(예: 멜 주파수 케플스트럼 계수(MFCC))를 포함하여 영상에 대한 접근을 확장하기 위해.
• 시각적 공간만으로도 기존의 공동 부분공간 방법보다 높은 매칭 정확도를 달성할 수 있음을 입증하기 위해.

제안 방법

• Word2VisualVec는 문장을 표현하기 위해 word2vec 임베딩을 입력으로 사용하여 대규모 어휘의 스케일러블한 처리를 가능하게 한다.
• 다층 퍼셉트론(MLP)이 문장 벡터를 깊이 있는 시각적 특징 공간으로 매핑하여, 사전 훈련된 CNN(예: GoogLeNet, ResNet)의 특징을 예측한다.
• 모델은 예측된 특징과 진짜 시각적 특징 간의 L2 거리 최소화를 통해 엔드 투 엔드 학습이 가능하도록 훈련된다.
• 영상에 대해서는 C3D 또는 I3D에서 유래한 3D-CNN 특징과 MFCC 등의 시각-음성 특징을 텍스트에서 예측할 수 있도록 일반화된다.
• 아키텍처는 훈련 중에 사용된 어떤 깊이 있는 시각적 특징 표현에도 쉽게 적응할 수 있다.
• 모델 초모수는 검증 세트에서 튜닝되며, 최종 모델은 TrecVid 2016과 같은 블라인드 테스트 세트에서 평가된다.

실험 결과

연구 질문

• RQ1 공동 부분공간에 의존하지 않고도 시각적 특징 공간에서 이미지 및 영상-문장 매칭을 효과적으로 수행할 수 있는가?
• RQ2 문장 벡터화 전략의 선택(예: word2vec 대비 bag-of-words)이 매칭 성능에 미치는 영향은 무엇인가?
• RQ3 신경망의 깊이와 대상 시각적 특징(예: fc7 대비 conv5)이 예측 정확도 및 매칭 성능에 미치는 영향은 무엇인가?
• RQ4 텍스트 기반 설명으로부터 3D-CNN 및 음성-시각 특징을 예측함으로써 모델이 영상에 일반화될 수 있는가?
• RQ5 공동 임베딩 모델 대비 텍스트에서 시각적 특징을 예측함으로써 최신 기술 수준 성능을 달성할 수 있는가?

주요 결과

• Flickr8k에서 Word2VisualVec는 R@1이 33.6%이고 R@10이 75.3%를 기록하여, 영역 수준의 애너테이션을 사용한 기존 최신 기술 수준 모델을 초월한다.
• Flickr30k에서는 R@1이 39.7%이고 R@10이 76.7%를 달성하여, Klein 등 [16] 및 Plummer 등 [26]의 모델을 뛰어넘었으며, 영역 수준의 감독 없이도 성능을 확보했다.
• NIST TrecVid 2016 영상-텍스트 벤치마크에서 Word2VisualVec는 세트 B에서 평균 뒤집힌 순위(Mean Inverted Rank)가 0.110, 세트 A에서 0.097을 기록하여 7개의 국제 팀이 참가한 모든 제출물 중에서 선두를 기록했다.
• 음성-시각 특징 예측 추가로 TrecVid 벤치마크에서 성능 향상이 이루어졌으며, 이는 모델이 다중 모odal 입력을 처리할 수 있음을 입증한다.
• 모델은 시각적 공간만으로도 고정밀도 매칭이 가능함을 보여주며, 공동 부분공간 학습의 필요성을 도전한다.
• 제거 분석 결과, word2vec 기반 문장 인코딩과 더 깊은 MLP가 특징 예측 및 매칭 정확도 향상에 기여함을 확인했다.