[논문 리뷰] MH-DETR: Video Moment and Highlight Detection with Cross-modal Transformer

Yifang Xu, Yunzhuo Sun외 4명|arXiv (Cornell University)|2023. 04. 29.

Visual Attention and Saliency Detection인용 수 4

한 줄 요약

MH-DETR는 종합적인 비디오 순간 및 하이라이트 검출을 위한 새로운 엔드 투 엔드 트랜스포머 기반 모델을 제안하며, 내모odal 컨텍스트를 위한 풀링 기반 토큰 믹서와 기능 정렬을 향상시키기 위한 플러그 앤 플레이 형식의 크로스모달 상호작용 모듈을 도입한다. 이는 QVHighlights, Charades-STA, ActivityNet, TVSum 등 여러 벤치마크에서 사전 훈련 없이 학습함에도 불구하고 기존 방법들보다 뚜렷한 성능 향상을 보이며 최신 기술 수준(SOTA)을 달성한다.

ABSTRACT

With the increasing demand for video understanding, video moment and highlight detection (MHD) has emerged as a critical research topic. MHD aims to localize all moments and predict clip-wise saliency scores simultaneously. Despite progress made by existing DETR-based methods, we observe that these methods coarsely fuse features from different modalities, which weakens the temporal intra-modal context and results in insufficient cross-modal interaction. To address this issue, we propose MH-DETR (Moment and Highlight Detection Transformer) tailored for MHD. Specifically, we introduce a simple yet efficient pooling operator within the uni-modal encoder to capture global intra-modal context. Moreover, to obtain temporally aligned cross-modal features, we design a plug-and-play cross-modal interaction module between the encoder and decoder, seamlessly integrating visual and textual features. Comprehensive experiments on QVHighlights, Charades-STA, Activity-Net, and TVSum datasets show that MH-DETR outperforms existing state-of-the-art methods, demonstrating its effectiveness and superiority. Our code is available at https://github.com/YoucanBaby/MH-DETR.

연구 동기 및 목표

• 기존 DETR 기반 방법이 비디오 순간 및 하이라이트 검출(MHD)에서 크로스모달 융합의 해상도가 낮고 내모달 컨텍스트 모델링이 약한 점을 해결하기 위해.
• 특정한 크로스모달 상호작용 모듈을 설계하여 시각적 및 텍스처 모달 간의 시간적 정렬과 표현 학습을 향상시키기 위해.
• 유모달 인코더 내에서 단순하면서도 효과적인 풀링 연산자를 사용하여 유모달 특징 내의 글로벌 컨텍스트 모델링을 향상시키기 위해.
• 사전 훈련 또는 비후처리 단계(예: 비최대 억제) 없이 MHD 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 효율성과 효과성을 높이기 위해 표준 자기주의 어텐션을 대체하는 유모달 인코더 내 풀링 기반 토큰 믹서를 도입하여 내모달 글로벌 컨텍스트를 캡처한다.
• 인코더와 디코더 간의 플러그 앤 플레이 형식의 크로스모달 상호작용 모듈을 설계하여 시각적 및 텍스처 특징의 시간적으로 정렬된 융합을 가능하게 한다.
• DETR를 영감으로 삼은 이중 브랜치 트랜스포머 인코더-디코더 아키텍처를 사용하며, 순간 디코더는 시작 및 종료 타임스탬프를 예측하고 하이라이트 헤드는 클립 단위의 중요도 점수를 회귀한다.
• 모든 손실을 동시에 최적화하기 위해 이중 매칭 및 엔드 투 엔드 훈련을 수행한다.
• 비디오 특징이 텍스트 특징으로 질의되는 다중헤드 크로스어텐션 메커니즘을 적용하여 의미적으로 관련된 시각적 콘텐츠를 강조한다.
• 추가적인 사전 훈련이나 데이터 증강 없이 순수한 원시 시각적 및 텍스처 특징만을 사용하여 모델을 처음부터 학습한다.

실험 결과

연구 질문

• RQ1 비디오 및 텍스트 표현의 내모달 글로벌 컨텍스트를 효과적으로 모델링하기 위해 단순한 풀링 기반 토큰 믹서가 유의미한 성능 향상을 이끌 수 있는가?
• RQ2 인코더와 디코더 간의 전용 크로스모달 상호작용 모듈이 종합적인 순간 및 하이라이트 검출에서 기능 정렬과 성능 향상에 기여하는가?
• RQ3 다양한 MHD 벤치마크에서 제안된 MH-DETR는 정확성과 효율성 측면에서 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?
• RQ4 순간 검색 및 하이라이트 검출 손실의 공동 최적화가 전체 성능 향상에 얼마나 기여하는가?
• RQ5 QVHighlights, Charades-STA, ActivityNet, TVSum과 같은 다양한 데이터셋에서 제안된 방법이 강건하고 일반화 가능한가?

주요 결과

• QVHighlights 데이터셋에서 VGG 특징을 사용할 경우, MH-DETR는 Moment-DETR 대비 R1@0.5에서 1.84%p 향상되고 R1@0.7에서 1.04%p 향상되었다.
• Charades-STA에서 최근 최신 기술 수준 방법인 VISA를 상당한 격차로 앞서며, 특히 I3D 특징을 사용할 경우 뛰어난 일반화 능력을 입증했다.
• TVSum에서 MH-DETR는 평균 상위 5 mAP 85.6%를 기록하여 모든 카테고리에서 SL-Module를 8.3%p 초월했다.
• 제거 실험 결과, 하이라이트 손실 또는 순간 손실을 제거할 경우 성능 저하가 뚜렷하게 발생하여 공동 최적화의 중요성을 입증했다.
• 크로스모달 상호작용 모듈이 성능 향상에 가장 기여했으며, QVHighlights에서 이 모듈을 포함한 모델은 포함하지 않은 모델 대비 최대 3.5%p mAP 향상을 보였다.
• 모델 파라미터 수를 동일하게 맞춘 경우에도 MH-DETR는 Moment-DETR-L 및 MH-DETR-S를 모두 능가하는 SOTA 성능을 달성하여 뛰어난 파라미터 효율성을 입증했다.