[논문 리뷰] You Need to Read Again: Multi-granularity Perception Network for Moment Retrieval in Videos

Xin Sun, Xuan Wang외 3명|arXiv (Cornell University)|2022. 05. 25.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 인간의 독서 전략을 모방하여 영상 및 언어 특징에 대해 군집에서 세밀한 순서로 인식하는 다중 해상도 인식 네트워크(MGPN)를 제안한다. 군집 특징 인코더와 세밀한 특징 인코더, 조건부 상호작용 모듈을 통합함으로써 MGPN은 Charades-STA, TACoS, ActivityNet Captions에서 정렬 정확도를 향상시키며, 경량 선택 비교 모듈을 통해 계산 비용을 감소시켜 이전 최고 성능 모델들을 능가한다.

ABSTRACT

Moment retrieval in videos is a challenging task that aims to retrieve the most relevant video moment in an untrimmed video given a sentence description. Previous methods tend to perform self-modal learning and cross-modal interaction in a coarse manner, which neglect fine-grained clues contained in video content, query context, and their alignment. To this end, we propose a novel Multi-Granularity Perception Network (MGPN) that perceives intra-modality and inter-modality information at a multi-granularity level. Specifically, we formulate moment retrieval as a multi-choice reading comprehension task and integrate human reading strategies into our framework. A coarse-grained feature encoder and a co-attention mechanism are utilized to obtain a preliminary perception of intra-modality and inter-modality information. Then a fine-grained feature encoder and a conditioned interaction module are introduced to enhance the initial perception inspired by how humans address reading comprehension problems. Moreover, to alleviate the huge computation burden of some existing methods, we further design an efficient choice comparison module and reduce the hidden size with imperceptible quality loss. Extensive experiments on Charades-STA, TACoS, and ActivityNet Captions datasets demonstrate that our solution outperforms existing state-of-the-art methods. Codes are available at github.com/Huntersxsx/MGPN.

연구 동기 및 목표

• 기존의 이단계 영상 순간 검색 모델이 군집적 내모odal 및 이모달 인식에만 집중하여 세밀한 의미적 세부 정보를 간과하는 한계를 해결하기 위해.
• 인간의 재독 및 심화 추론 전략을 영감으로 삼아 순간 검색을 다중 선택 독해 문제로 모델링하여 정렬 정확도를 향상시키기 위해.
• 숨은 크기 최적화와 함께 경량 선택 비교 모듈을 설계하여 성능을 희생시키지 않은 채 계산 오버헤드를 감소시키기 위해.
• 기존의 이단계 모델에 세밀한 인식을 즉시 통합할 수 있도록 플러그 앤 플레이 방식을 제공하여 보다 넓은 적용 가능성을 확보하기 위해.

제안 방법

• 인간의 전략(예: 재독, 강화된 정렬)을 모방하기 위해 순간 검색을 다중 선택 독해 문제로 재정의한다.
• 초기 내모달 및 이모달 표현을 캡처하기 위해 군집 특징 인코더와 공통 주의 메커니즘을 활용한다.
• 더 깊은 추론을 통해 표현을 정교화하기 위해 세밀한 특징 인코더와 조건부 상호작용 모듈을 도입한다. 이는 재독을 모방한다.
• 성능 손실를 최소화하면서 은닉 크기를 줄이는 효율적인 선택 비교 모듈을 설계하여 추론 효율성을 향상시킨다.
• 세밀한 인식 단계에서 영상-질의 정렬을 향상시키기 위해 다중 모달 공통 주의 모듈을 사용한다.
• 비국소 또는 표준 컨볼루션 블록보다 성능은 뛰어나고 모델 크기는 더 작은 스택 컨볼루션 블록 아키텍처를 세밀한 인코더에 적용한다.

실험 결과

연구 질문

• RQ1 다중 선택 독해 문제로 순간 검색을 모델링함으로써 인간의 재독 행동을 모방함으로써 정렬 정확도를 향상시킬 수 있는가?
• RQ2 군집에서 세밀한 순서로 처리하는 다중 해상도 인식 — 내모달 및 이모달 특징의 군집-세밀한 처리 — 이 영상 순간 검색 벤치마크에서 더 나은 성능을 이끌어낼 수 있는가?
• RQ3 경량 선택 비교 모듈은 성능 저하 없이 모델 크기와 추론 비용을 줄일 수 있는가?
• RQ4 세밀한 자기 모달 인코딩과 교차 모달 정렬이 플러그인 모듈로 적용되었을 때, 기존 이단계 모델의 성능 향상에 어느 정도 기여하는가?

주요 결과

• MGPN은 Charades-STA, TACoS, ActivityNet Captions에서 최고 성능를 기록하였으며, ActivityNet Captions에서 R@1,0.5는 47.92%를 달성했다.
• MGPN 256 버전은 단지 256개의 은닉 유닛으로도 뛰어난 성능를 보였으며, 2D-TAN 대비 모델 크기를 4.8배 감소시켰고 성능는 6.4% 향상시켰다.
• 플러그 앤 플레이 실험 결과, 2D-TAN과 RaNet에 세밀한 인식을 추가함으로써 R@1,0.5가 각각 5.77%, 0.87% 향상되었으며, 일반화 능력과 효과성을 입증했다.
• 실험 결과, 은닉 크기가 256일 때 성능와 효율성의 최적 균형을 이룬다는 것이 확인되었으며, 더 큰 크기(예: 512)는 기하급수적인 비용 증가에 비해 이득은 미미했다.
• 세밀한 인식 모듈은 비슷한 시각적 순간들에 대해 검색 정밀도를 크게 향상시켰으며, ActivityNet Captions와 TACoS에서의 정성적 결과로 이를 입증했다.
• 제안된 다중 모달 공통 주의 모듈은 특히 '왼쪽' 손과 같은 미세한 단서에 대해 교차 모달 정렬을 향상시켜, 군집 특징 모델에서 자주 간과되는 요소들을 효과적으로 포착한다.