[논문 리뷰] Integrating both Visual and Audio Cues for Enhanced Video Caption

Wangli Hao, Zhaoxiang Zhang외 2명|arXiv (Cornell University)|2017. 11. 22.

Multimodal Machine Learning Applications참고 문헌 25인용 수 11

한 줄 요약

이 논문은 시각적 및 청각적 자극을 통합하여 영상 요약을 위한 동적 다중모달 융합 프레임워크를 제안한다. 세 가지 교차모달 융합 전략을 사용한다: 저차수에서 고차수로의 특징 융합, 단기적 의존성을 위한 공유 프론트엔드 네트워크, 장기적 의존성을 위한 공유 다중모달 메모리. 이 방법은 MSRVTT 및 MSVD에서 최신 기술 수준의 성능을 달성하며, 전용 청각 모odal 추론 모듈 덕분에 청각 정보가 누락된 경우에도 강력한 내성성을 보인다.

ABSTRACT

Video caption refers to generating a descriptive sentence for a specific short video clip automatically, which has achieved remarkable success recently. However, most of the existing methods focus more on visual information while ignoring the synchronized audio cues. We propose three multimodal deep fusion strategies to maximize the benefits of visual-audio resonance information. The first one explores the impact on cross-modalities feature fusion from low to high order. The second establishes the visual-audio short-term dependency by sharing weights of corresponding front-end networks. The third extends the temporal dependency to long-term through sharing multimodal memory across visual and audio modalities. Extensive experiments have validated the effectiveness of our three cross-modalities fusion strategies on two benchmark datasets, including Microsoft Research Video to Text (MSRVTT) and Microsoft Video Description (MSVD). It is worth mentioning that sharing weight can coordinate visual-audio feature fusion effectively and achieve the state-of-art performance on both BELU and METEOR metrics. Furthermore, we first propose a dynamic multimodal feature fusion framework to deal with the part modalities missing case. Experimental results demonstrate that even in the audio absence mode, we can still obtain comparable results with the aid of the additional audio modality inference module.

연구 동기 및 목표

• 기존 영상 요약 방법이 동기화된 청각 자극을 충분히 활용하지 못하는 한계를 해결하기 위해.
• 구조화된 교차모달 융합 전략을 통해 시각적 및 청각적 모달을 효과적으로 융합하여 영상 요약 성능을 향상시키기 위해.
• 청각 모달이 누락된 경우에도 성능 저하가 크게 발생하지 않는 강력한 프레임워크를 개발하기 위해.
• 부분적인 모달 가용성에 맞게 적응하는 동적 융합 메커니즘을 구축하여, 다양한 입력 조건에서 일관된 성능을 확보하기 위해.

제안 방법

• 처리의 초기 단계에서 후기 단계까지 시각적 및 청각적 표현을 점진적으로 통합하기 위해 저차수에서 고차수로의 교차모달 특징 융합을 도입한다.
• 단기적 시각-청각 의존성을 파라미터 공유를 통해 모델링하기 위해 시각 및 청각 스트림에 공유 프론트엔드 네트워크를 활용한다.
• 장기적인 시간적 의존성을 연장하기 위해 시각적 및 청각적 브랜치 간에 다중모달 메모리를 공유한다.
• 입력 가용성에 따라 모달을 활성화하거나 억제하는 동적 다중모달 융합 프레임워크를 설계하며, 청각 모달이 없는 경우를 대비한 청각 모달 추론 모듈을 포함한다.
• 캡션 생성 과정에서 시각적 및 청각적 특징 기여도를 동적으로 가중하기 위해 어텐션 메커니즘을 활용한다.
• 융합된 다중모달 특징을 조건으로 삼아 기술적 설명 캡션을 생성하기 위해 표준 시퀀스-투-시퀀스 모델링과 교차어텐션을 활용한다.

실험 결과

연구 질문

• RQ1 어떻게 시각적 및 청각적 모달을 효과적으로 융합하여 영상 요약 성능을 향상시킬 수 있는가?
• RQ2 공유 프론트엔드 네트워크가 단기적 시각-청각 의존성 모델링에 미치는 영향은 무엇인가?
• RQ3 공유 다중모달 메모리 메커니즘이 영상 요약에서 장기적 시간적 모델링을 향상시키는 데 기여하는가?
• RQ4 청각 모달이 누락된 경우에도 시스템이 성능을 유지할 수 있는가?
• RQ5 동적 융합이 부분적인 모달 가용성 상황을 다룰 때 어떤 역할을 하는가?

주요 결과

• 제안된 방법은 MSRVTT 및 MSVD 데이터셋에서 모두 최신 기술 수준의 성능을 달성하며, BLEU 및 METEOR 지표에서 이전 방법들을 능가한다.
• 시각적 및 청각적 프론트엔드 네트워크 간의 가중치 공유가 특징 정렬 및 융합 효율성을 크게 향상시킨다.
• 공유 다중모달 메모리 메커니즘은 장거리 시간적 모델링을 향상시켜 더 일관되고 맥락적으로 정확한 캡션을 생성한다.
• 청각이 없는 모드에서도 청각 모달 추론 모듈 덕분에 비교적 유사한 성능을 유지한다.
• 동적 융합 프레임워크는 모달 누락 사례를 효과적으로 처리하여 실제 환경에서의 강력함과 적응성을 입증한다.