[논문 리뷰] UMT: Unified Multi-modal Transformers for Joint Video Moment Retrieval and Highlight Detection

Ye Liu, Siyuan Li외 4명|arXiv (Cornell University)|2022. 03. 23.

Multimodal Machine Learning Applications인용 수 8

한 줄 요약

이 논문은 텍스트, 시각적 및 청각 입력을 사용하여 영상 순간 검색과 하이라이트 검출을 동시에 수행하는 통합 다중모달 트랜스포머 프레임워크인 UMT를 제안한다. 순간 검색을 학습 가능한 쿼리와 교차모달 어텐션을 사용한 키포인트 검출 문제로 모델링함으로써, UMT는 QVHighlights에서 39.85 mAP, TVSum에서 83.14 mAP를 기록하며 여러 벤치마크에서 최고 성능을 달성한다. 또한 모달리티 변화에 유연하게 대응할 수 있으며, 필요에 따라 단일 작업으로 분해될 수 있다.

ABSTRACT

Finding relevant moments and highlights in videos according to natural language queries is a natural and highly valuable common need in the current video content explosion era. Nevertheless, jointly conducting moment retrieval and highlight detection is an emerging research topic, even though its component problems and some related tasks have already been studied for a while. In this paper, we present the first unified framework, named Unified Multi-modal Transformers (UMT), capable of realizing such joint optimization while can also be easily degenerated for solving individual problems. As far as we are aware, this is the first scheme to integrate multi-modal (visual-audio) learning for either joint optimization or the individual moment retrieval task, and tackles moment retrieval as a keypoint detection problem using a novel query generator and query decoder. Extensive comparisons with existing methods and ablation studies on QVHighlights, Charades-STA, YouTube Highlights, and TVSum datasets demonstrate the effectiveness, superiority, and flexibility of the proposed method under various settings. Source code and pre-trained models are available at https://github.com/TencentARC/UMT.

연구 동기 및 목표

• 영상 순간 검색과 하이라이트 검출은 밀접하게 관련되어 있지만 종종 함께 연구되지 않는 점을 메우기 위해.
• 텍스트, 시각적, 청각 입력을 하나의 통합 프레임워크에 통합하여 다양한 모달리티 품질에서도 강건성과 성능을 향상시키기 위해.
• 특정 입력이 누락되거나 신뢰할 수 없을 경우, 개별 작업(예: 순간 검색 또는 하이라이트 검출)으로 분해될 수 있는 민감한 아키텍처를 설계하기 위해.
• 학습 가능한 쿼리 생성기와 디코더를 사용해 순간 검색을 키포인트 검출 문제로 모델링함으로써 경계 예측 정확도를 향상시키기 위해.
• 다중작업 공동 최적화의 효과성과 각 손실 구성 요소의 기여도를 공동 학습 환경에서 검증하기 위해.

제안 방법

• UMT는 영상 및 청각에 대해 별도의 유모달 인코더를 갖는 통합 트랜스포머 아키텍처를 사용하며, 텍스트와 시각적·청각적 특징을 융합하기 위한 교차모달 인코더를 포함한다.
• 텍스트 기반 쿼리를 생성하는 학습 가능한 쿼리 생성기를 도입하여, 고정된 위치 인코딩을 대체하고 가변 길이 출력 시퀀스를 가능하게 한다.
• 이 쿼리 디코더는 학습된 쿼리를 사용해 순간 경계를 키포인트 좌표로 예측하며, 순간 검색을 키포인트 검출 작업으로 간주한다.
• 텍스트 전용, 영상 전용, 청각 전용, 또는 다중모달 입력 조합을 지원하며, 입력이 누락될 경우 인코더를 동적으로 비활성화한다.
• 정확한 경계 예측을 위해 중심 손실($\mathcal{L}_c$), 윈도우 손실($\mathcal{L}_w$), 오프셋 손실($\mathcal{L}_o$)으로 구성된 다중작업 손실을 적용한다.
• 순간 검색과 하이라이트 검출을 공동 최적화하여 엔드 투 엔드로 학습함으로써, 작업 간 상관관계를 통해 성능 향상을 이룬다.

실험 결과

연구 질문

• RQ1 다양한 입력 조건에서 영상 순간 검색과 하이라이트 검출을 효과적이고도 민감하게 수행할 수 있는 통합 다중모달 트랜스포머 프레임워크가 가능한가?
• RQ2 텍스트, 시각적, 청각적 다중모달 학습이 단일모달 또는 제한된 입력 기반 베이스라인에 비해 성능 향상에 기여하는가?
• RQ3 순간 검색과 하이라이트 검출의 다중작업 공동 최적화가 단일작업 학습 대비 성능 향상에 기여하는가?
• RQ4 오프셋 손실이 순간 경계 예측 정확도 향상에 기여하는 정도는 어떠한가?
• RQ5 텍스트 쿼리의 관련성이 높을 경우, 텍스트 기반 설정에서 하이라이트 검출 성능에 어떤 영향을 미치는가?

주요 결과

• UMT는 하이라이트 검출에 대해 QVHighlights 검증 세트에서 39.85 mAP를 기록하며, Moment-DETR 및 Joint-VA와 같은 이전 방법들을 능가한다.
• TVSum 데이터셋에서 UMT는 하이라이트 검출에 대해 83.14 mAP를 기록하며, 명시적 순간 검색 감독 없이도 뛰어난 성능을 보였다.
• QVHighlights에서 공동 학습을 수행한 결과, UMT는 60.26% R1@0.5와 38.59% mAP를 기록하여, 동일한 설정에서 Moment-DETR보다 뚜렷이 뛰어난 성능을 보였다.
• 오프셋 손실($\mathcal{L}_o$)의 포함으로 mAP가 37.36%에서 38.59%로 향상되어, 정확한 경계 예측에 있어 그 중요성을 확인했다.
• 텍스트 쿼리가 높은 관련성을 가질 경우(QVHighlights), 하이라이트 검출 mAP는 33.42%에서 64.19%로 상승하여 쿼리 관련성에 강한 의존성을 보였다.
• 다중작업 공동 최적화는 단일작업 학습 대비 순간 검색 성능 향상에 기여했으며, 특히 순간 검색 작업에서 Moment-DETR에 비해 UMT가 더 뛰어난 성과를 보였다.