[논문 리뷰] End-to-end Multi-modal Video Temporal Grounding

Yiwen Chen, Yi‐Hsuan Tsai외 1명|arXiv (Cornell University)|2021. 07. 12.

Multimodal Machine Learning ApplicationsComputer Science참고 문헌 34인용 수 21

한 줄 요약

이 논문은 RGB, 광학 흐름, 깊이 특징을 동적 상호모달 융합을 위한 공액 주의 메커니즘과 자율학습 대비 학습을 통한 내모달 표현 강화를 위해 사용하는 엔드 투 엔드 다중모달 프레임워크인 DRFT를 제안한다. 이 방법은 외관, 운동, 구조에서 유용한 보완적 시각적 단서를 활용하여 Charades-STA 및 ActivityNet Captions에서 최신 기준 성능을 달성한다.

ABSTRACT

We address the problem of text-guided video temporal grounding, which aims to identify the time interval of a certain event based on a natural language description. Different from most existing methods that only consider RGB images as visual features, we propose a multi-modal framework to extract complementary information from videos. Specifically, we adopt RGB images for appearance, optical flow for motion, and depth maps for image structure. While RGB images provide abundant visual cues of certain events, the performance may be affected by background clutters. Therefore, we use optical flow to focus on large motion and depth maps to infer the scene configuration when the action is related to objects recognizable with their shapes. To integrate the three modalities more effectively and enable inter-modal learning, we design a dynamic fusion scheme with transformers to model the interactions between modalities. Furthermore, we apply intra-modal self-supervised learning to enhance feature representations across videos for each modality, which also facilitates multi-modal learning. We conduct extensive experiments on the Charades-STA and ActivityNet Captions datasets, and show that the proposed method performs favorably against state-of-the-art approaches.

연구 동기 및 목표

• 단일 모달 비디오 기반 정렬 방법이 RGB 특징에만 의존하는 한계를 해결하기 위해, 특히 복잡하거나 혼잡한 배경에서의 성능 향상을 목표로 한다.
• 외관, 운동, 구조에서 유용한 보완적 시각적 단서를 통합함으로써 시간 기반 정렬 정확도를 향상시키기 위해 RGB는 외관을, 광학 흐름은 운동을, 깊이는 환경의 구조를 각각 반영한다.
• 입력에 따라 모달리티 중요도를 동적으로 조정할 수 있는 동적 융합 메커니즘을 통해 효과적인 상호모달 특징 학습을 가능하게 한다.
• 각 모달리티 내에서 자율학습 대비 학습을 적용하여 동일한 동작을 반복하는 비디오 클립 간의 특징 일관성을 향상시킴으로써 특징의 강건성을 높인다.

제안 방법

• DRFT 프레임워크는 세 가지 시각 모달리티를 통합한다: 외관을 위한 RGB 이미지, 운동을 위한 광학 흐름, 구조적 맥락을 위한 깊이 맵.
• 공액 주의 메커니즘을 통해 입력 콘텐츠 기반의 교차 주의 상호작용을 모델링함으로써, 다이나믹하게 모달리티 간 특징을 융합한다.
• 상호모달 융합 메커니즘은 모달리티별 주의 가중치를 학습하여, 쿼리에 따라 관련된 단서를 강조한다. 예를 들어, 고운동 동작에서는 유량을, 구조적 동작에서는 깊이를 강조한다.
• 내모달 자율학습 대비 학습은 각 모달리티에 대해 독립적으로 적용되어, 배경이나 맥락과 관계없이 동일한 동작을 반복하는 비디오 클립 간의 특징 일관성을 향상시킨다.
• 시작 및 종료 시간을 예측하는 시간 기반 정렬 손실을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 프레임워크는 Charades-STA 및 ActivityNet Captions에서 평가되며, 구성 요소 기여도를 검증하기 위한 추론 분석이 수행된다.

실험 결과

연구 질문

• RQ1 RGB만을 사용하는 것과 비교해보았을 때, 보완적인 시각 모달리티인 RGB, 광학 흐름, 깊이가 비디오 시간 기반 정렬에 어떻게 기여하는가?
• RQ2 다양한 모달리티 간 특징 학습을 향상시키기 위해, 동적이고 주의 기반 융합 메커니즘이 얼마나 효과적인가?
• RQ3 각 모달리티 내에서 자율학습 대비 학습을 적용하면 특징 표현이 향상되고 다중모달 성능이 향상되는가?
• RQ4 작은 운동을 보이는 동작(예: '미소 지음')이나 강한 구조적 단서를 가진 동작(예: '침대에 앉기')에 대해, 어떤 모달리티(RGB, 유량, 깊이)가 가장 기여하는가?
• RQ5 Charades-STA 및 ActivityNet Captions와 같은 표준 벤치마크에서 DRFT 프레임워크는 최신 기준 방법들과 비교해 어떻게 성능을 내는가?

주요 결과

• RGB, 유량, 깊이를 모두 사용하는 3스트림 DRFT 모델은 Charades-STA 및 ActivityNet Captions에서 단일 모달리티 기반 모델보다 우수한 성능을 보이며, 다중모달 융합의 효과를 입증한다.
• 대비 학습을 적용한 단일 스트림 DRFT 모델은 비대비 학습 기반 모델보다 유의미하게 성능 향상을 보이며, 내모달 자율학습의 유용성을 확인한다.
• 작은 운동을 보이는 동작(예: '미소 지음')에서는 융합 메커니즘에서 더 높은 주의 가중치를 보이며, RGB 특징이 가장 기여한다.
• 고운동 동작(예: '문을 닫기', '베개를 던지기')에서는 유량이 융합 과정에서 지배적이며, 가장 높은 주의 가중치가 흐름 기반 특징에 할당된다.
• 구조적 의존 동작(예: '침대에 앉기', '테이블에서 일하기')에서는 깊이 맵이 가장 기여하며, 깊이 기반 특징에 가장 높은 주의 가중치가 할당된다.
• 추론 분석 결과, 상호모달 융합 및 내모달 대비 학습 구성 요소가 모두 최신 기준 성능 달성에 필수적임을 확인한다.