[논문 리뷰] Multi-Modal Cross-Domain Alignment Network for Video Moment Retrieval

Xiang Fang, Daizong Liu외 2명|arXiv (Cornell University)|2022. 09. 23.

Multimodal Machine Learning Applications인용 수 7

한 줄 요약

이 논문은 소스 도메인은 완전한 애너테이션을 갖지만 타겟 도메인은 애너테이션이 없는 환경에서 비디오 무드 검색을 위한 다중 모odal 교차 도메인 정렬(MMCDA) 네트워크를 제안한다. 세 가지 새로운 모듈을 통해 도메인 불변성, 다중 모달, 프레임-쿼리 정렬 표현을 공동으로 학습함으로써 MMCDA는 ActivityNet Captions, Charades-STA, TACoS 벤치마크에서 핵심 사례에서 단일 도메인 방법보다 7퍼센트 이상 뛰어난 성능을 달성한다.

ABSTRACT

As an increasingly popular task in multimedia information retrieval, video moment retrieval (VMR) aims to localize the target moment from an untrimmed video according to a given language query. Most previous methods depend heavily on numerous manual annotations (i.e., moment boundaries), which are extremely expensive to acquire in practice. In addition, due to the domain gap between different datasets, directly applying these pre-trained models to an unseen domain leads to a significant performance drop. In this paper, we focus on a novel task: cross-domain VMR, where fully-annotated datasets are available in one domain (``source domain''), but the domain of interest (``target domain'') only contains unannotated datasets. As far as we know, we present the first study on cross-domain VMR. To address this new task, we propose a novel Multi-Modal Cross-Domain Alignment (MMCDA) network to transfer the annotation knowledge from the source domain to the target domain. However, due to the domain discrepancy between the source and target domains and the semantic gap between videos and queries, directly applying trained models to the target domain generally leads to a performance drop. To solve this problem, we develop three novel modules: (i) a domain alignment module is designed to align the feature distributions between different domains of each modality; (ii) a cross-modal alignment module aims to map both video and query features into a joint embedding space and to align the feature distributions between different modalities in the target domain; (iii) a specific alignment module tries to obtain the fine-grained similarity between a specific frame and the given query for optimal localization. By jointly training these three modules, our MMCDA can learn domain-invariant and semantic-aligned cross-modal representations.

연구 동기 및 목표

• 수동 애너테이션이 없는 저자원 타겟 도메인에서 비디오 무드 검색 문제를 해결하기 위해.
• 소스 데이터셋과 타겟 데이터셋 간의 도메인 갭과 영상 및 언어 모달 간의 의미 갭으로 인한 성능 저하를 완화하기 위해.
• 타겟 도메인에서 수동 레이블링이 필요 없이 완전히 애너테이션된 소스 도메인에서 효과적인 지식 전이를 가능하게 하기 위해.
• 도메인, 모달, 특정 쿼리-비디오 상호작용 간의 특징을 통합적으로 정렬하는 프레임워크를 개발하기 위해.

제안 방법

• 세 핵심 모듈인 도메인 정렬, 다중 모달 정렬, 특정 정렬을 갖춘 다중 모달 교차 도메인 정렬(MMCDA) 네트워크를 제안한다.
• 모든 모odal에서 소스 도메인과 타겟 도메인 간의 분포 차이를 줄이기 위해 적대적 훈련을 통해 도메인 정렬 모듈을 활용한다.
• 비디오 및 쿼리 특징을 공유 임베딩 공간으로 매핑하고 타겟 도메인에서 그들의 분포를 정렬하기 위해 다중 모달 정렬 모듈을 도입한다.
• 정확한 경계 정렬을 위해 개별 비디오 프레임과 쿼리 간의 세분화된 유사도를 계산하기 위해 특정 정렬 모듈을 설계한다.
• 사전 훈련 손실과 세 가지 정렬 손실을 조합한 다중 태스크 학습 목표를 사용하여 모든 모듈을 공동 최적화한다.
• T-SNE 시각화와 정규화된 손실 함수를 활용하여 훈련 중 도메인 갭 감소를 분석하고 모니터링한다.

실험 결과

연구 질문

• RQ1 완전히 애너테이션된 소스 도메인에서 훈련된 모델이 애너테이션이 전혀 없는 타겟 도메인으로 지식을 효과적으로 전이할 수 있는가?
• RQ2 소스 및 타겟 데이터셋 간의 도메인 불일치를 어떻게 효과적으로 줄일 수 있는가?
• RQ3 미사용된 타겟 도메인에서 영상과 언어 간의 다중 모달 의미 갭을 어느 정도 메울 수 있는가?
• RQ4 세분화된 프레임-쿼리 정렬을 통합하면 저자원 환경에서 정렬 정확도가 향상되는가?

주요 결과

• MMCDA는 최신 단일 도메인 방법보다 대표적인 교차 도메인 전이 작업에서 7퍼센트 이상의 성능 향상을 달성한다.
• A→C 및 C→A 전이 작업에서 MMCDA는 최고의 베이스라인(CRMA)을 모든 지표에서 2.23%, 3.92%, 1.41%, 2.09% 초과하여 앞서며 성능을 높인다.
• ActivityNet Captions와 Charades-STA 데이터셋 간의 도메인 갭이 크게 감소하였으며, 효과적인 도메인 정렬 덕분에 10~12 에포크 내에 수렴하였다.
• 시각화 결과는 각 정렬 모듈을 거치면서 다중 모달 특징의 클러스터링이 더욱 격차가 줄어들었음을 보여주며, 의미 정렬 향상 여부를 확인한다.
• 제거 실험 결과, 도메인 정렬, 다중 모달 정렬, 특정 정렬의 세 모듈 모두 성능 향상에 기여하며, 특히 특정 정렬 모듈에서 가장 두드러진 개선 효과를 보였다.
• TACoS가 소스 도메인으로 사용될 경우 애너테이션이 희박하기 때문에 성능 향상이 제한되지만, TACoS가 타겟 도메인일 경우 모델은 여전히 효과적으로 일반화된다.