[논문 리뷰] Video Captioning and Retrieval Models with Semantic Attention.

Youngjae Yu, Hyungjin Ko외 2명|arXiv (Cornell University)|2016. 10. 10.

Multimodal Machine Learning Applications참고 문헌 3인용 수 37

한 줄 요약

이 논문은 외부 지식 없이 영상 입력에서 직접 의미적 사전 지식을 생성하는 개념어 검출기와 통합된 의미적 어휘 주의 메커니즘을 제안한다. 이는 영상 설명 및 검색 모델의 성능을 향상시킨다. 엔드 투 엔드로 훈련 가능한 검출기는 관련 개념어를 식별하며, 이는 언어 생성 과정에서 선택적으로 주의를 기울이는 데 사용된다. 이로 인해 LSMDC 2016의 네 가지 과제 중 세 가지 과제에서 최신 기술 수준의 성능을 달성하였으며, 빈칸 채우기 및 영화 검색 과제를 포함한다.

ABSTRACT

We propose a high-level concept word detector that can be integrated with any video-to-language models. It takes a video as input and generates a list of concept words as useful semantic priors for language generation models. The proposed word detector has two important properties. First, it does not require any external knowledge sources for training. Second, the proposed word detector is trainable in an end-to-end manner jointly with any video-to-language models. To maximize the values of detected words, we also develop a semantic attention mechanism that selectively focuses on the detected concept words and fuse them with the word encoding and decoding in the language model. In order to demonstrate that the proposed approach indeed improves the performance of multiple video-to-language tasks, we participate in four tasks of LSMDC 2016. Our approach achieves the best accuracies in three of them, including fill-in-the-blank, multiple-choice test, and movie retrieval. We also attain comparable performance for the other task, movie description.

연구 동기 및 목표

• 영상 입력에서 직접 파생된 의미적 사전 지식을 통합함으로써 영상-언어 모델의 성능을 향상시키기.
• 외부 지식 소스 없이 훈련 가능한 개념어 검출기를 개발하기.
• 영상-언어 모델와 함께 개념 검출기를 엔드 투 엔드로 공동 훈련할 수 있도록 하기.
• 의미적 어휘 주의 메커니즘을 통해 검출된 개념어에 집중적으로 주의를 기울임으로써 언어 생성 성능을 향상시키기.
• 영상 설명 및 검색을 포함한 다양한 영상-언어 과제에서 성능 향상을 입증하기.

제안 방법

• 고수준의 개념어 검출기가 영상 입력에서 외부 지식에 의존하지 않고도 관련 의미적 개념 목록을 출력하도록 엔드 투 엔드로 훈련된다.
• 검출된 개념어는 영상 설명 및 검색 모델의 언어 생성 과정을 안내하는 의미적 사전 지식으로 기능한다.
• 의미적 어휘 주의 메커니즘이 도입되어 언어 모델의 인코딩 및 디코딩 단계에서 검출된 개념어에 선택적으로 주의를 기울인다.
• 개념 검출기와 주의 메커니즘을 포함한 전체 시스템이 영상-언어 모델과 함께 엔드 투 엔드 방식으로 공동 훈련된다.
• LSMDC 2016 벤치마크의 네 가지 과제(빈칸 채우기, 다중 선택, 영화 검색, 설명 생성)에서 시험되었다.

실험 결과

연구 질문

• RQ1 외부 지식 없이 영상 입력에서 엔드 투 엔드로 훈련된 개념어 검출기가 영상 설명 및 검색 성능을 향상시킬 수 있는가?
• RQ2 언어 생성 과정에서 검출된 개념어에 집중적으로 주의를 기울이는 의미적 어휘 주의 메커니즘은 얼마나 효과적인가?
• RQ3 검출된 의미적 사전 지식을 통합하면 다양한 영상-언어 과제에서 일관된 성능 향상이 이루어지는가?
• RQ4 제안된 방법은 여러 영상 이해 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 LSMDC 2016 챌린지에서 빈칸 채우기 과제에서 최고의 정확도를 기록했다.
• 모든 제출된 방법 중에서 다중 선택 테스트 과제에서 가장 높은 성능를 기록했다.
• 영화 검색 과제에서 최고의 결과를 달성하여 영상과 텍스트 간의 강력한 의미적 일치를 보였다.
• 영화 설명 과제에서는 최신 기술 수준과 비교할 만한 성능를 기록하여 다양한 설명 스타일로의 일반화 능력이 뛰어나다는 것을 시사했다.