[논문 리뷰] Learning Modality Interaction for Temporal Sentence Localization and Event Captioning in Videos

Shaoxiang Chen, Wenhao Jiang외 2명|arXiv (Cornell University)|2020. 07. 28.

Multimodal Machine Learning Applications참고 문헌 3인용 수 11

한 줄 요약

이 논문은 시각, 운동, 청각 및 잠재적 의미 모odal 간의 세밀한 쌍별 상호작용을 순서 및 채널 수준에서 채널 게이팅 이중선형 모델을 사용하여 모델링하는 새로운 방법인 쌍별 모달 상호작용(PMI)을 제안한다. 이 방법은 다중모달 특징 융합을 향상시키고 학습된 모달 중요도 가중치를 통해 해석 가능성을 제공함으로써, 시간문장 국소화 및 이벤트 캡션 작업의 네 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Automatically generating sentences to describe events and temporally localizing sentences in a video are two important tasks that bridge language and videos. Recent techniques leverage the multimodal nature of videos by using off-the-shelf features to represent videos, but interactions between modalities are rarely explored. Inspired by the fact that there exist cross-modal interactions in the human brain, we propose a novel method for learning pairwise modality interactions in order to better exploit complementary information for each pair of modalities in videos and thus improve performances on both tasks. We model modality interaction in both the sequence and channel levels in a pairwise fashion, and the pairwise interaction also provides some explainability for the predictions of target tasks. We demonstrate the effectiveness of our method and validate specific design choices through extensive ablation studies. Our method turns out to achieve state-of-the-art performances on four standard benchmark datasets: MSVD and MSR-VTT (event captioning task), and Charades-STA and ActivityNet Captions (temporal sentence localization task).

연구 동기 및 목표

• 시간문장 국소화 및 이벤트 캡션과 같은 비디오 이해 작업에서 명시적인 다중모달 상호작용 모델링의 부족을 해결하기 위해.
• 시각, 운동, 청각 및 잠재적 의미와 같은 다수의 모달 간 상호보완적 정보를 체계적인 상호작용 메커니즘을 통해 캡처하여 성능을 향상시키기 위해.
• 쌍별 상호작용을 통한 학습된 모달 중요도 가중치를 통해 모델의 해석 가능성(해석 가능성)을 향상시키기 위해.
• 이전에 단일모달(C3D 등) 특징에 의해 지배되던 문장 국소화 작업을 위한 다중모달 프레임워크를 구축하기 위해.
• 표준 벤치마크에서의 비교 및 추론 분석을 통해 PMI의 효과성을 검증하기 위해.

제안 방법

• 모든 모달 특징 시퀀스 간의 쌍별 상호작용을 순서 및 채널 수준에서 모델링하기 위해 채널 게이팅 이중선형 모달 상호작용(CGBMI) 레이어를 제안한다.
• 모든 쌍별 상호작용의 출력을 학습 가능한 중요도 가중치를 사용해 융합하여 관련 있는 모달 조합을 강조한다.
• 비디오 및 텍스트 인코더 내부에 모달 상호작용을 통합하여 시간 국소화를 위한 비디오-텍스트 정렬을 향상시킨다.
• 비디오 콘텐츠 이해를 풍부하게 하기 위해 잠재적 의미 표현을 추가 모달로 확장한다.
• 캡션 및 국소화 작업 모두에 대해 엔드 투 엔드 훈련을 위한 인코더-디코더 아키텍처를 사용하며, 공액주목(co-attention)과 경계 회귀를 통합한다.
• 모달 특징 간 고차원 상호작용을 캡처하는 이중선형 상호작용 메커니즘을 활용하여 표현 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 명시적인 쌍별 모달 상호작용은 단순한 특징 연결을 넘어서 시간문장 국소화 및 이벤트 캡션 성능 향상에 기여하는가?
• RQ2 다양한 모달 조합(예: 시각-청각, 운동-시각)은 정확한 국소화 및 캡션 생성에 어떻게 기여하는가?
• RQ3 순서 및 채널 수준에서 모두 상호작용을 모델링하는 것이 단일 수준 상호작용보다 더 나은 표현 학습을 이끌는가?
• RQ4 모달 상호작용은 예측에 가장 영향을 미치는 모달을 식별함으로써 예측에 대한 설명 가능한 통찰을 제공할 수 있는가?
• RQ5 제안된 방법은 이벤트 캡션 및 시간 국소화를 포함한 다양한 데이터셋과 작업에 대해 일반화 가능한가?

주요 결과

• Charades-STA 데이터셋에서 제안된 PMI-LOC(C+IRV2+A) 모델은 IoU=0.3일 때 58.08%의 국소화 정확도, IoU=0.5일 때 42.63%, IoU=0.7일 때 21.32%를 기록하여 이전 모든 방법을 초월한다.
• ActivityNet Captions 데이터셋에서 PMI-LOC(C+IRV2+A)는 IoU=0.3일 때 61.22%, IoU=0.5일 때 40.07%, IoU=0.7일 때 18.29%를 기록하여 새로운 최신 기술 수준 성능을 달성한다.
• 추론 분석 결과, 청각 및 잠재적 의미 모달을 추가함으로써 성능 향상이 일관되게 이루어지며, 특히 복잡하거나 모호한 비디오 세그먼트에서 가장 큰 성과 향상이 관찰된다.
• 정성적 분석 결과, 비디오 유형에 따라 모달 상호작용 패tern이 달라지며, 스포츠 영상에서는 시각-운동, 요리 영상에서는 시각-청각, 애니메이션 콘텐츠에서는 잠재적 의미가 두드러진다.
• 모델의 모달 중요도 가중치는 설명 가능성을 제공하며, 특정 이벤트에 대해 가장 영향을 미치는 모달을 정확히 식별한다. 예를 들어 주방 소리의 경우 청각이 주요 모달로 식별된다.
• 이벤트 캡션 작업에서 MSVD 및 MSR-VTT 모두에서 최신 기술 수준 성능을 달성하였으며, PMI-CAP은 기존 SOTA 모델을 모두 초월한다.