[논문 리뷰] Aligning Books and Movies: Towards Story-like Visual Explanations by Watching Movies and Reading Books

Yukun Zhu, Ryan Kiros외 5명|arXiv (Cornell University)|2015. 06. 22.

Multimodal Machine Learning Applications참고 문헌 34인용 수 298

한 줄 요약

이 논문은 시각적, 텍스처적, 대화적 신호를 활용하여 영화 샷과 책의 해당 단락을 정렬하는 조건부 랜덤 필드(CRF)-기반 모델을 제안한다. 이 방법은 다중모달 정렬을 공동으로 모델링함으로써 스토리 같은 시각적 설명을 생성하며, 주요 결과로 대화 기반 정렬을 통해 정렬의 정확도가 향상되고, 더 넓은 책 코퍼스(200권)에서의 정보를 빌려올 때 더 높은 일관성이 확보됨을 보여준다.

ABSTRACT

Books are a rich source of both fine-grained information, how a character, an object or a scene looks like, as well as high-level semantics, what someone is thinking, feeling and how these states evolve through a story. This paper aims to align books to their movie releases in order to provide rich descriptive explanations for visual content that go semantically far beyond the captions available in current datasets. To align movies and books we exploit a neural sentence embedding that is trained in an unsupervised way from a large corpus of books, as well as a video-text neural embedding for computing similarities between movie clips and sentences in the book. We propose a context-aware CNN to combine information from multiple sources. We demonstrate good quantitative performance for movie/book alignment and show several qualitative examples that showcase the diversity of tasks our model can be used for.

연구 동기 및 목표

• 영화 샷을 책의 해당 서사 문단과 정렬함으로써 스토리 같은 시각적 설명을 가능하게 하기.
• 약한 시각적 신호를 가진 영상에서 시각적 신호를 보완하기 위해 텍스트 및 대화 내용을 활용한 정렬 기반 기술을 제공하기.
• 모델이 관련 없는 책들 중에서 선택하도록 강제했을 때 의미 있는 다중책 간 정렬이 자동으로 발생할 수 있는지 탐색하기.
• 후보 책의 수를 늘일 경우 정렬 품질과 서사 일관성에 어떤 영향을 미치는지 평가하기.

제안 방법

• 영화 샷과 책 문단 간의 순차적 의존성을 모델링하기 위해 조건부 랜덤 필드(CRF)를 사용한다.
• 영상 샷과 책 문단 간 유사도 점수를 계산하기 위해 시각적, 텍스트적, 자막 특징을 기반으로 한 컨텍스트ual CNN을 활용한다.
• 특히 시각적 신호가 모호할 경우 대화 텍스트를 강력한 정렬 신호로 통합한다.
• 비교적 다양한 책들(해당되지 않는 책 포함) 간에 샷과 문단을 매칭함으로써 제로샷 정렬을 수행한다.
• 일반화 능력과 일관성을 평가하기 위해 10권(제한된 후보 책)과 200권(넓은 코퍼스) 설정의 두 가지 실험을 수행한다.
• 프레임 수준의 시각적 특징과 자막 겹침을 활용하여 CRF 프레임워크 내에서 샷-문단 정렬을 정밀하게 보정한다.

실험 결과

연구 질문

• RQ1 시각적, 텍스트적, 대화적 신호를 종합적으로 모델링하는 것이 영화 샷과 책 문단 간의 정렬에 효과적인가?
• RQ2 시각적 특징이 약할 경우 영화와 책 간의 대화 일관성이 정렬 정확도에 어떤 영향을 미치는가?
• RQ3 관련 없는 책들에서 문단을 빌려오더라도 모델이 타당한 스토리 같은 설명을 생성할 수 있는가?
• RQ4 후보 책의 수를 10권에서 200권으로 늘일 경우 더 일관성 있고 의미 있는 다중책 간 정렬이 이루어지는가?
• RQ5 컨텍스트화된 텍스트 특징은 시각-문장 정렬의 모호함을 해소하는 데 어떤 역할을 하는가?

주요 결과

• 영화의 대화가 책의 텍스트와 유사하게 구성되어 있을 경우, 이는 시각적 콘텐츠의 정렬을 강력하게 보조함으로써 정렬 정확도를 크게 향상시킨다.
• 10권 실험에서 관련 없는 책들 중 상위 스코어를 받은 매칭조차도 낮은 유사도를 보이며, 더 넓은 맥락이 없을 경우 일관성이 제한됨을 시사한다.
• 200권 실험에서는 모델이 점점 더 일관성 있고 스토리 같은 정렬을 생성함으로써 더 큰 책 코퍼스가 서사적 타당성을 향상시킨다는 것을 보여준다.
• CRF 모델은 고립된 샷-책 매칭을 넘어서 주변 문단의 컨텍스트 신호를 활용하여 정렬 정밀도를 향상시키는 데 성공했다.
• 시각적 특징과 자막 특징만으로는 강력한 정렬을 확보하기에 부족하며, 대화 일관성이 정렬을 위한 핵심 신호임을 입증한다.
• 모델는 소스 책이 영화와 일치하지 않더라도 다양한 책 코퍼스에서 문단을 빌려오며 타당하고 스토리 같은 설명을 생성할 수 있음을 보여준다.