[논문 리뷰] Video Captioning with Guidance of Multimodal Latent Topics

Shizhe Chen, Jia Chen외 2명|arXiv (Cornell University)|2017. 08. 31.

Multimodal Machine Learning Applications참고 문헌 37인용 수 7

한 줄 요약

이 논문은 다중모달 잠재 주제를 비지도 학습 방식으로 영상-문장 쌍에서 자동으로 탐지하고, 이를 주제 인식 디코더의 가이드로 사용하여 더 정확하고 세부적인 설명을 생성하는 통합된 비디오 캡션 프레임워크인 M&M TGM을 제안한다. 다중 작업 학습을 통해 주제 예측 작업과 캡션 생성 작업을 함께 학습함으로써, MSR-VTT와 YouTube2Text에서 최신 기술 수준의 성능을 달성하였으며, 일반화 능력 향상과 더불어 주제별로 특화된 더 풍부한 기술적 설명을 제공한다.

ABSTRACT

The topic diversity of open-domain videos leads to various vocabularies and linguistic expressions in describing video contents, and therefore, makes the video captioning task even more challenging. In this paper, we propose an unified caption framework, M&M TGM, which mines multimodal topics in unsupervised fashion from data and guides the caption decoder with these topics. Compared to pre-defined topics, the mined multimodal topics are more semantically and visually coherent and can reflect the topic distribution of videos better. We formulate the topic-aware caption generation as a multi-task learning problem, in which we add a parallel task, topic prediction, in addition to the caption task. For the topic prediction task, we use the mined topics as the teacher to train a student topic prediction model, which learns to predict the latent topics from multimodal contents of videos. The topic prediction provides intermediate supervision to the learning process. As for the caption task, we propose a novel topic-aware decoder to generate more accurate and detailed video descriptions with the guidance from latent topics. The entire learning procedure is end-to-end and it optimizes both tasks simultaneously. The results from extensive experiments conducted on the MSR-VTT and Youtube2Text datasets demonstrate the effectiveness of our proposed model. M&M TGM not only outperforms prior state-of-the-art methods on multiple evaluation metrics and on both benchmark datasets, but also achieves better generalization ability.

연구 동기 및 목표

• 다양한 주제와 고유한 어휘 및 언어 스타일을 포함하는 오픈 도메인 비디오 캡션에서 주제 다양성 문제를 해결하기 위해.
• 수동 레이블링 없이 영상-문장 쌍에서 의미적이고 시각적으로 일관된 잠재 주제를 자동으로 탐지하기 위해.
• 예측된 잠재 주제를 사용하여 비디오 캡션 생성을 가이드함으로써 더 정확하고 세부적이며 주제별로 특화된 기술을 제공하기 위해.
• 주제 예측과 캡션 생성을 동시에 최적화하기 위해 엔드 투 엔드 다중 작업 학습을 통해 모델 성능과 일반화 능력을 향상시키기 위해.

제안 방법

• 다중모달 주제 탐사 방법은 시각적 및 텍스처적 특징을 사용하여 영상-문장 쌍에서 잠재 주제를 탐지하여 의미적이고 시각적으로 일관된 주제를 생성한다.
• 선생-학생 학습 프레임워크는 다중모달 영상 특징을 기반으로 잠재 주제를 예측하며, 선생 모델은 탐지된 주제를 사용하고 학생 모델은 영상 콘텐츠에서 주제를 예측하도록 학습한다.
• 새로운 주제 인식 디코더는 예측된 주제에 따라 내부 가중치를 동적으로 조정하여 별도의 주제별 디코더 없이 주제별 문장 생성이 가능하도록 한다.
• 다중 작업 학습은 캡션 생성 손실과 주제 예측 손실을 함께 최적화하여 주제 탐지와 기술 생성 간의 강한 결합을 강화한다.
• 전체 모델는 엔드 투 엔드로 학습되어 주제 예측과 문장 생성을 공유된 파rameter와 특징을 사용하여 함께 최적화할 수 있다.

실험 결과

연구 질문

• RQ1 오픈 도메인 영상의 의미적 및 시각적 다양성을 반영하는 바탕으로, 비지도 학습 방식으로 영상-문장 쌍에서 잠재 주제를 자동으로 탐지할 수 있는 방법은 무엇인가?
• RQ2 예측된 잠재 주제를 효과적으로 활용하여 비디오 캡션 생성을 가이드함으로써 정확도와 세부 정보를 향상시킬 수 있는 방법은 무엇인가?
• RQ3 주제 가이드 캡션 모델을 훈련하는 데 있어 주제 예측과 캡션 생성 성능을 동시에 향상시키는 최적의 방법은 무엇인가?
• RQ4 주제 인식 디코더는 주제별 디코더와 비교해 성능이 유사하면서도 더 계산 효율적이고 데이터 효율적인가?

주요 결과

• M&M TGM은 BLEU-4, METEOR, ROUGE-L, CIDEr를 포함한 여러 지표에서 MSR-VTT 및 YouTube2Text 데이터셋에서 이전 최신 기술 수준의 방법들을 능가한다.
• MSR-VTT에서 모델은 CIDEr 점수 108.9를 기록하여 기준 모델보다 유의미하게 높으며, 50개 주제에서 최적 성능을 달성한다.
• YouTube2Text에서 모델은 청소된 전문가 정의 주제를 사용할 경우 CIDEr 점수 82.79를 기록하여 노이즈가 있는 주제 버전 대비 9.5점 향상되었다.
• 모델는 바닐라 모델 대비 493개의 고유어를 생성하여 주제 가이드 덕분에 더 풍부하고 다양한 어휘 사용을 보였다.
• λ > 0 조건에서 다중 작업 학습은 단일 작업 학습 대비 일관되게 성능 향상을 보였으며, 하이퍼파ram터 선택에 대한 강건성을 입증했다.
• 정성적 분석 결과 M&M TGM은 특히 축구 vs 럭비 또는 종이 접기 vs 종이 비행기 만들기와 같은 유사 개념을 구분하는 데 더 정확하고 세부적인 기술을 생성하는 것으로 확인되었다.