[논문 리뷰] Spatio-Temporal Attention Models for Grounded Video Captioning

Mihai Zanfir, Elisabeta Marinoiu외 1명|arXiv (Cornell University)|2016. 10. 17.

Multimodal Machine Learning Applications참고 문헌 39인용 수 24

한 줄 요약

이 논문은 인간의 지도 없이 영상에서 주어진 주어, 동사, 목적어를 국소화할 수 있도록, LSTMs를 통해 시공간 객체 제안과 이미지 분류 특징을 융합하는 시공간 어텐션 모델을 제안한다. 이 방법은 YouTube 영상 설명 벤치마크에서 최신 기술 수준의 성능을 달성하면서도 생성된 문장의 각 단어에 대해 해석 가능한 시각적 국소화를 제공한다.

ABSTRACT

Automatic video captioning is challenging due to the complex interactions in dynamic real scenes. A comprehensive system would ultimately localize and track the objects, actions and interactions present in a video and generate a description that relies on temporal localization in order to ground the visual concepts. However, most existing automatic video captioning systems map from raw video data to high level textual description, bypassing localization and recognition, thus discarding potentially valuable information for content localization and generalization. In this work we present an automatic video captioning model that combines spatio-temporal attention and image classification by means of deep neural network structures based on long short-term memory. The resulting system is demonstrated to produce state-of-the-art results in the standard YouTube captioning benchmark while also offering the advantage of localizing the visual concepts (subjects, verbs, objects), with no grounding supervision, over space and time.

연구 동기 및 목표

• 인간이 애너테이션한 국소화 정보가 없이도 영상 설명에서 시각적 개념(주어, 동사, 목적어)을 국소화하는 문제에 대응하기 위해.
• 시공간 객체 제안과 사전 학습된 이미지 분류 특징을 딥 러닝 프레임워크에 통합하여 영상 설명 성능을 향상시키기 위해.
• 텍스트 요소에 대한 어텐션 기반의 해석 가능한 국소화를 가능하게 하여, 단어를 특정 시공간 영역과 연결하기 위해.
• 국소화 능력을 유지하면서도 표준 영상 설명 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 모델는 이중 스트림 아키텍처를 사용한다: 한 스트림은 C3D와 VGG-16를 통해 시공간적 특징과 외관 특징을 처리하고, 다른 스트림은 R-C3D에서 유도된 객체 제안을 처리한다.
• 시공간 어텐션 메커니즘은 생성된 단어와 객체 제안 간의 정렬 가중치(β)를 계산하여 각 단어에 가장 관련성이 높은 제안을 선택한다.
• 어텐션 메커니즘은 시각적 특징과 이전의 은닉 상태에 조건부로 문장을 단어별로 생성하는 LSTM 기반 디코더에 통합된다.
• 고수준의 의미적 표현(SVO: 주어-동사-목적어)은 YouTube 데이터셋에서 사전 학습된 분류기로부터 확보되어 시각적 특징과 융합된다.
• 캡션 생성을 위한 교차 엔트로피 손실과 과적합 방지를 위한 L2 정규화를 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 후행적으로 시각적 국소화를 추론하기 위해 각 단어에 대해 가장 높은 β 가중치를 가진 제안을 선택함으로써, 각 단어가 어떤 영상 영역에 기반하는지를 해석 가능하게 한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 영상 설명 모델이 어떤 국소화 지도 없이도 영상에서 주어, 동사, 목적어를 국소화할 수 있는가?
• RQ2 시공간 객체 제안과 이미지 분류 특징을 통합함으로써 영상 설명 성능와 해석 가능성은 어떻게 향상되는가?
• RQ3 LSTM 기반 어텐션 메커니즘은 영상의 특정 시공간 영역과 텍스트 출력을 어느 정도 정확하게 정렬할 수 있는가?
• RQ4 제안된 방법은 표준 영상 설명 벤치마크에서 최신 기술 수준의 성능을 달성하면서도 시각적 국소화를 제공하는가?

주요 결과

• 모델은 YouTube 영상 설명 벤치마크에서 BLEU-4 점수 51.5%와 METEOR 32.0%를 기록하여 이전 방법들을 능가한다.
• 작은 공간 영역을 차지하는 단어들인 'pepper', 'ball', 'toy', 'gun' 등도 높은 정밀도로 국소화한다.
• 'girl riding a horse'와 같은 경우 단일 시공간 제안이 다수의 단어에 정확히 연결되는 것으로 나타나, 일관된 국소화를 보여준다.
• 많은 경우에서 주어와 동사(예: 'man-cutting', 'dog-playing')를 정확히 식별하지만, 외관의 다양성으로 인해 목적어 국소화는 여전히 도전 과제이다.
• 강력한 성능에도 불구하고 모델은 때로 잘못된 문장을 생성한다(예: 'a boy is playing a ball' 대신 'a man playing with a ball')로 인해 객체 인식에 한계가 있음을 시사한다.
• 모델의 어텐션 메커니즘은 각 단어에 대해 관련 있는 영상 프레임을 성공적으로 강조하여 캡션 생성 과정에 대한 해석 가능한 시각적 지원을 제공한다.