[논문 리뷰] Adaptive Feature Abstraction for Translating Video to Text

Yunchen Pu, Martin Renqiang Min외 2명|arXiv (Cornell University)|2016. 11. 23.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 비디오 캡션 생성을 위한 이중 적응형 기능 표현(dualAFR) 모델을 제안한다. 이 모델은 새로운 주의 메커니즘을 통해 다수의 3D CNN 레이어 및 각 레이어 내의 국소 시공간 영역에서 적응적으로 스펙트로시계적 기능을 선택한다. 3D 컨볼루션 변환을 활용한 기능 정렬 및 동적 레이어 수준 주의를 통해, YouTube2Text, M-VAD, MSR-VTT에서 최신 기준 성능을 달성하며, 고정 레이어 기능이나 단일 수준 주의를 사용하는 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Previous models for video captioning often use the output from a specific layer of a Convolutional Neural Network (CNN) as video features. However, the variable context-dependent semantics in the video may make it more appropriate to adaptively select features from the multiple CNN layers. We propose a new approach for generating adaptive spatiotemporal representations of videos for the captioning task. A novel attention mechanism is developed, that adaptively and sequentially focuses on different layers of CNN features (levels of feature "abstraction"), as well as local spatiotemporal regions of the feature maps at each layer. The proposed approach is evaluated on three benchmark datasets: YouTube2Text, M-VAD and MSR-VTT. Along with visualizing the results and how the model works, these experiments quantitatively demonstrate the effectiveness of the proposed adaptive spatiotemporal feature abstraction for translating videos to sentences with rich semantics.

연구 동기 및 목표

• 비디오 캡션 생성에서 고정 레이어 CNN 기능의 한계를 해결하기 위해, 추상화 수준 간의 맥락 의존적 의미를 포착하지 못하는 문제를 해결한다.
• 특징 맵 내의 추상화 수준(CNN 레이어)과 공간-시간 위치를 동적으로 맥락 인식적으로 선택할 수 있도록 한다.
• 차원 불일치, 정렬 불일치, 레이어 간 의미 변동성으로 인해 다수의 3D CNN 기능을 비교하는 데 어려움을 해결한다.
• 계층적이고 적응형 기능 추상화를 시공간 주의와 통합하여 종단 간 프레임워크에서 비디오 캡션 성능을 향상시킨다.
• 자동 평가 지표와 인간 평가를 통해 고정 레이어 및 다수 레이어 기반 방법과 비교하여 뛰어난 성능을 입증한다.

제안 방법

• 다양한 CNN 레이어(추상화 수준)와 각 레이어의 특징 맵 내 국소 시공간 영역을 동시에 고려하는 이중 주의 메커니즘을 도입한다.
• 다른 C3D 레이어 간의 공간적·시간적 기능 정렬을 위해 3D 컨볼루션 변환을 활용하여 레이어 간 비교를 가능하게 한다.
• 현재 디코딩 단계와 맥락에 따라 기능을 동적으로 가중하기 위해 소프트 또는 하드 주의 메커니즘을 사용한다.
• 3D CNN(C3D)을 비디오 인코더로 사용하여 풍부한 시공간 기능을 추출하며, 중간 레이어를 다수 수준의 추상화에 활용한다.
• 디코더(LSTM)가 단어 생성 중에 적응적이고 다수 수준의 기능에 주의를 기울이는 인코더-디코더 아키텍처를 구현한다.
• 각 레이어와 공간 위치에 대해 맥락 의존적 가중치를 계산하는 학습 가능한 주의 메커니즘을 도입하여 기능의 관련성을 향상시킨다.

실험 결과

연구 질문

• RQ1 고정 레이어 기능 추출 방식과 비교해 볼 때, 추상화 수준(CNN 레이어)을 적응적으로 선택하는 것이 비디오 캡션 성능 향상에 기여하는가?
• RQ2 다른 레이어와 국소 시공간 영역을 동시에 주의하는 것이 생성된 캡션의 의미적 풍부성과 정렬을 향상시키는가?
• RQ3 3D 컨볼루션 변환은 레이어 간 기능 일관성을 어떻게 향상시키며, 효과적인 다수 수준 주의를 가능하게 하는가?
• RQ4 제안된 모델은 하이퍼컬럼과 같은 기존의 다수 수준 기능 방법 및 단일 레이어 주의 기반 기준 방법을 초월하는가?
• RQ5 모델의 주의 메커니즘이 인간의 인지와 유사한지를 정성적 분석과 인간 평가로 어떻게 입증할 수 있는가?

주요 결과

• DualAFR 모델은 YouTube2Text, M-VAD, MSR-VTT에서 최신 기준 성능을 달성하며, 하드 주의(앙상블)를 사용할 경우 CIDEr 점수 51.41을 기록하여 모든 기준 방법을 압도한다.
• MSR-VTT에서 모델은 BLEU-4 점수 45.01과 METEOR 29.98을 기록하여 가장 우수한 기준 방법(C3D fc7 + pool4)보다 BLEU-4 기준 4.18 포인트 높은 성능을 보였다.
• YouTube2Text에서의 인간 평가 결과, DualAFR는 강력한 기준 방법 대비 관련성(27.53%)과 논리성(6.49%)에서 승리했으며, 비교의 67.69%는 구분이 불가능했다.
• 정성적 분석 결과, 추상화 수준 주의가 언어적 구조와 일치함을 확인했다. 예를 들어, 명사에는 저수준 기능에 집중하고, 관사나 전치사와 같은 기능 어휘에는 고수준 기능에 집중한다.
• C3D fc7 + pool4와 같은 단일 레이어 기반 기준 방법 및 하이퍼컬럼과 같은 다수 수준 방법보다 모델이 뚜렷이 뛰어나며, 적응형 레이어 선택의 가치를 입증했다.
• 3D 컨볼루션 변환을 사용함으로써 다층 퍼셉트론 기반 기능 투영 대비 파라미터 수를 줄이고 일반화 능력을 향상시켰다. 이는 희소 연결성 덕분이었다.