[논문 리뷰] Learning Language-Visual Embedding for Movie Understanding with Natural-Language

Atousa Torabi, Niket Tandon외 1명|arXiv (Cornell University)|2016. 09. 26.

Multimodal Machine Learning Applications참고 문헌 26인용 수 72

한 줄 요약

이 논문은 자연어를 활용하여 영화 이해를 위한 공동 언어-시각 임베딩 모델을 제안한다. 다중모달 딥 러닝을 활용해 영상 애너테이션과 검색 성능을 향상시킨다. LSMDC16 데이터셋을 사용해 재구성된 문장과 인간 활동 술어 기반으로 훈련한 결과, 최고 성능 모델은 영상 애너테이션에서 Recall@10이 19.2%이며, 새로운 다중선택형 테스트에서 정확도가 58.11%를 기록하여, 체계적인 평가 기준에서 강력한 시각-언어 이해 성능을 입증한다.

ABSTRACT

Learning a joint language-visual embedding has a number of very appealing properties and can result in variety of practical application, including natural language image/video annotation and search. In this work, we study three different joint language-visual neural network model architectures. We evaluate our models on large scale LSMDC16 movie dataset for two tasks: 1) Standard Ranking for video annotation and retrieval 2) Our proposed movie multiple-choice test. This test facilitate automatic evaluation of visual-language models for natural language video annotation based on human activities. In addition to original Audio Description (AD) captions, provided as part of LSMDC16, we collected and will make available a) manually generated re-phrasings of those captions obtained using Amazon MTurk b) automatically generated human activity elements in "Predicate + Object" (PO) phrases based on "Knowlywood", an activity knowledge mining model. Our best model archives Recall@10 of 19.2% on annotation and 18.9% on video retrieval tasks for subset of 1000 samples. For multiple-choice test, our best model achieve accuracy 58.11% over whole LSMDC16 public test-set.

연구 동기 및 목표

• 자연어 쿼리를 활용한 정확한 영상 애너테이션 및 검색을 가능하게 하는 공동 언어-시각 임베딩 모델을 개발하는 것.
• 인간 활동 기반으로 구성된 새로운 자동화되고 정밀한 다중선택형 테스트를 통해 영상 이해에서 시각-언어 모델 평가의 과제를 해결하는 것.
• 재구성된 문장과 자동으로 추출된 술어-객체 구문을 포함한 COCO 및 LSMDC16 데이터셋을 병합하여 훈련함으로써 모델의 일반화 능력을 향상시키는 것.
• 표준 순위 매기기 작업과 제안된 다중선택형 테스트를 모두 평가하여 보다 객관적이고 확장 가능한 평가를 수행하는 것.

제안 방법

• 저자들은 세 가지 공동 언어-시각 신경망 아키텍처를 설계하였다: 전역 영상 특징에 대한 소프트 어텐션을 사용하는 모델(M1), 그리고 LSTM 기반 인코딩과 소프트 어텐션을 사용하는 두 모델(M2와 M3).
• 시간적 어텐션 네트워크를 도입하여 문장 쿼리에 기반해 중요한 영상 프레임을 동적으로 강조함으로써 검색 정밀도를 향상시킨다.
• COCO 이미지 문장과 LSMDC16 영상 기술서의 조합을 사용하여 모델을 훈련시키며, 아마존 메카니컬 터크를 통해 수집한 수동으로 재구성된 문장을 포함한다.
• Knowlywood 모델을 사용해 인간 활동 요소를 추출하여 행동의 정렬을 향상시키기 위해 "술어 + 목적어"(PO) 구문을 생성한다.
• 평가를 위해, 영상 클립과 자연어 질문 기반의 다중선택형 테스트를 도입하며, 답변은 PO 구문과 재구성된 문장에서 유도된다.
• 검색 및 분류 성능 최적화를 위해 순서 임베딩 손실과 쌍별 순위 매기기 손실을 사용한다.

실험 결과

연구 질문

• RQ1 공동 언어-시각 임베딩 모델은 LSMDC16 데이터셋에서 영상 애너테이션 및 검색 성능 향상에 효과적으로 기여할 수 있는가?
• RQ2 재구성된 문장과 자동으로 추출된 술어-목적어 구문을 사용한 훈련은 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?
• RQ3 인간 활동 기반 다중선택형 테스트는 영상 이해 분야의 시각-언어 모델 평가에 신뢰할 수 있고 자동화된 기준이 될 수 있는가?
• RQ4 COCO와 LSMDC16 데이터셋을 병합하면, 제로샷 및 패트샷 설정에서 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 가장 높은 성능을 보인 모델인 M2는 COCO와 LSMDC16 데이터셋에 재구성된 문장을 포함해 훈련한 결과(C+L’16+RP)로, 영상 애너테이션에서 Recall@10이 19.2%이며, 1000개 샘플 서브셋에 대한 영상 검색에서도 Recall@10이 18.9%를 기록했다.
• LSMDC16 공개 테스트 세트 전체에서 제안된 다중선택형 테스트에서 정확도가 58.11%를 기록하여 다른 변종보다 뛰어난 성능을 보였다.
• 애너테이션 순위 매기기(AR) 손실을 사용하면 쌍별 순위 매기기 손실 대비 다중선택형 정확도가 2% 향상된다.
• 구문 기반 영상 검색에서 뛰어난 성능을 보였으며, 어텐션 네트워크가 쿼리 구문에 해당하는 중요한 프레임을 정확히 강조했다.
• COCO와 LSMDC16 데이터의 조합은 중앙값 순위(medR) 향상과 모든 설정에서 높은 재현율을 보여주어 더 나은 일반화 능력을 입증했다.