[논문 리뷰] Watch, Listen, and Describe: Globally and Locally Aligned Cross-Modal Attentions for Video Captioning

Xin Wang, Yuan-Fang Wang외 1명|arXiv (Cornell University)|2018. 04. 15.

Multimodal Machine Learning Applications참고 문헌 24인용 수 15

한 줄 요약

이 논문은 비디오 자동 생성을 위한 새로운 계층적 통합 교차모달 어텐션(HACA) 프레임워크를 제안한다. 이 프레임워크는 계층적 어텐션 메커니즘을 사용하여 시각적 및 청각적 모odal 간의 전역적이고 국소적인 시간 동적 특성을 동시에 모델링하고 융합한다. MSR-VTT에서 최신 기준 성능을 달성하며, 특히 BLEU-4(+43.4)와 METEOR(+29.5)에서 이전 방법들보다 뚜렷한 성능 향상을 보였다. 또한 VGGish와 같은 깊이 있는 청각 특징이 전통적인 MFCC보다 효과적임을 처음으로 입증하였다.

ABSTRACT

A major challenge for video captioning is to combine audio and visual cues. Existing multi-modal fusion methods have shown encouraging results in video understanding. However, the temporal structures of multiple modalities at different granularities are rarely explored, and how to selectively fuse the multi-modal representations at different levels of details remains uncharted. In this paper, we propose a novel hierarchically aligned cross-modal attention (HACA) framework to learn and selectively fuse both global and local temporal dynamics of different modalities. Furthermore, for the first time, we validate the superior performance of the deep audio features on the video captioning task. Finally, our HACA model significantly outperforms the previous best systems and achieves new state-of-the-art results on the widely used MSR-VTT dataset.

연구 동기 및 목표

• 비디오 자동 생성에서 다양한 시간 해상도에서 다중 모달 간의 시간적 구조 모델링 부족 문제를 해결하기 위해.
• 시각적 및 청각적 특징 간의 전역적 및 국소적 정렬을 학습하여 다중모달 융합을 향상시키기 위해.
• 비디오 자동 생성에서 수작업으로 만든 특징(MFCC) 대비 깊이 있는 청각 임bedding(VGGish)의 효과성을 검증하기 위해.
• 전역 및 국소적 맥락 학습을 통합하는 유일한 프레임워크를 개발하여 문장 생성 성능을 향상시키기 위해.

제안 방법

• HACA 프레임워크는 시각적 및 청각적 특징 각각에 대해 계층적 어텐션 인코더를 사용하며, 각각 스택된 LSTMs를 통해 국소적 및 전역적 표현을 학습한다.
• 두 개의 디코더를 사용한다: 전역 디코더는 고수준 모달 맥락을 정렬하고, 국소 디코더는 국소적 특징과 전역 맥락을 융합하여 단어 예측을 수행한다.
• 디코딩 중에 관련된 시각적 및 청각적 자극을 동적으로 주의 집중하기 위해 전역 및 국소 수준에서 교차모달 어텐션을 적용한다.
• 사전 학습된 ResNet과 VGGish 네트워크를 사용해 깊이 있는 시각적 및 청각적 임베딩을 추출하며, 기존의 MFCC를 대체한다.
• 계층적 어텐션 메커니즘은 다양한 시간 해상도에서 모달 간의 주목할 만한 시간 세그먼트를 선택적으로 주의 집중함으로써 융합을 가능하게 한다.
• 모델은 지도 학습을 통해 훈련되며, beam search 추론 방식을 사용하며, 추가적인 모달(예: 옵티컬 플로우 또는 C3D 특징)을 포함할 수 있도록 확장 가능하다.

실험 결과

연구 질문

• RQ1 시각적 및 청각적 모달 간의 전역적 및 국소적 시간 역학을 동시에 모델링하면 비디오 자동 생성 성능이 향상되는가?
• RQ2 비디오 자동 생성에서 깊이 있는 청각 임베딩(VGGish)을 사용할 경우 수작업 특징(MFCC) 대비 성능 향상이 이루어지는가?
• RQ3 계층적 교차모달 어텐션은 다양한 시간 해상도 수준에서 다중모달 표현을 얼마나 효과적으로 정렬하고 융합하는가?
• RQ4 전역 및 국소 맥락 학습을 통합한 통합 어텐션 메커니즘은 단일 수준 어텐션을 가진 모델보다 성능이 뛰어나게 되는가?

주요 결과

• HACA 모델은 MSR-VTT 데이터셋에서 BLEU-4 점수가 43.4로 기록되어 이전 최고 성능 모델(CIDEnt-RL)보다 2.9점 높아, 새로운 최신 기준 성능을 달성하였다.
• METEOR 점수는 29.5로 상승하여 이전 최고 기록인 28.4보다 유의미한 향상을 보였으며, 문장의 자연스러움과 의미 일치도 향상됨을 시사한다.
• 깊이 있는 VGGish 청각 특징을 사용함으로써 CIDEr 점수는 MFCC 대비 47.5에서 48.2로 상승하여, 비디오 자동 생성에서 MFCC보다 VGGish의 우수성을 입증하였다.
• 제거 실험 결과, 정렬 메커니즘을 제거한 HACA w/o align은 성능 저하를 보였으며, 이는 계층적 교차모달 어텐션의 중요성을 입증한다.
• 학습 곡선 분석 결과, HACA는 CM-ATT 및 HACA w/o align보다 더 빠르게 수렴하며 더 높은 검증 CIDEr 점수를 기록하여 강력한 모델 능력을 보였다.
• 기본 모델 ATT(v)는 시각적 특징만 사용하지만, HACA는 이에 비해 CIDEr 점수에서 4.8% 향상되었으며, 이는 청각 모달 통합의 가치를 강력히 시사한다.