[논문 리뷰] HANet: Hierarchical Alignment Networks for Video-Text Retrieval

Peng Wu, Xiangteng He외 3명|arXiv (Cornell University)|2021. 07. 26.

Multimodal Machine Learning Applications참고 문헌 46인용 수 8

한 줄 요약

HANet는 비디오-텍스트 검색을 위한 계층적 어울림 네트워크를 제안하며, 비디오와 텍스트를 이벤트, 동작, 실체 수준으로 분해하여 개별적, 국소적, 전역적 인과적 교차 모odal 어울림을 가능하게 한다. 약한 감독 기반의 개념 기반 비디오 파싱과 관계 그래프 모델링을 활용하여, 추가 사전 훈련이나 특징 없이도 MSR-VTT와 VATEX에서 최신 기준 성능을 달성한다.

ABSTRACT

Video-text retrieval is an important yet challenging task in vision-language understanding, which aims to learn a joint embedding space where related video and text instances are close to each other. Most current works simply measure the video-text similarity based on video-level and text-level embeddings. However, the neglect of more fine-grained or local information causes the problem of insufficient representation. Some works exploit the local details by disentangling sentences, but overlook the corresponding videos, causing the asymmetry of video-text representation. To address the above limitations, we propose a Hierarchical Alignment Network (HANet) to align different level representations for video-text matching. Specifically, we first decompose video and text into three semantic levels, namely event (video and text), action (motion and verb), and entity (appearance and noun). Based on these, we naturally construct hierarchical representations in the individual-local-global manner, where the individual level focuses on the alignment between frame and word, local level focuses on the alignment between video clip and textual context, and global level focuses on the alignment between the whole video and text. Different level alignments capture fine-to-coarse correlations between video and text, as well as take the advantage of the complementary information among three semantic levels. Besides, our HANet is also richly interpretable by explicitly learning key semantic concepts. Extensive experiments on two public datasets, namely MSR-VTT and VATEX, show the proposed HANet outperforms other state-of-the-art methods, which demonstrates the effectiveness of hierarchical representation and alignment. Our code is publicly available.

연구 동기 및 목표

• 기존의 비디오-텍스트 검색 방법이 전역 임베딩에만 의존하고 세분화된 국소적 및 보완적인 의미 정보를 간과하는 데서 비롯되는 한계를 해결하기 위해.
• 비디오와 텍스트 표현 간의 비대칭성을 제거하기 위해 양 모odal을 일관된 의미 수준—이벤트, 동작, 실체—으로 함께 파싱함으로써.
• 개별(프레임-단어), 국소(클립-컨텍스트), 전역(전체 비디오-텍스트) 수준에서 표현을 계층적으로 어울림하여 검색 성능을 향상시키기 위해.
• 약한 감독 기반의 개념 분류를 통해 핵심 의미 개념을 명시적으로 학습하고 시각화하여 모델의 해석 가능성 향상.

제안 방법

• HANet는 개념 기반 분류를 사용하여 비디오와 텍스트를 세 가지 의미 수준으로 분해한다: 이벤트(전체 비디오/텍스트), 동작(운동/동사), 실체(외관/명사).
• 비디오 파싱을 위해, 클립에서 개념 관련 프레임을 선택하고 집계하기 위해 SeMe 모듈을 활용한 약한 감독 기반 다중 인스턴스 학습(MIL) 프레임워크를 적용한다.
• 텍스트는 기존의 자연어 처리(NLP) 툴킷을 사용해 동사와 명사를 추출하고, 이를 관계 그래프 컨volutional 네트워크(GCN)로 모델링하여 문맥적 종속성을 포착한다.
• 세 가지 별도의 어울림 헤드를 사용한다: 개별 수준 어울림은 개념별 예측을 기반으로 프레임 수준 특징과 단어 수준 특징을 매칭하며, 국소 수준 어울림은 비디오 클립과 텍스트 컨텍스트를 매칭하고, 전역 수준 어울림은 전체 비디오 및 텍스트 임베딩을 매칭한다.
• 모델은 대조 손실을 사용하여 엔드 투 엔드로 훈련되며, 양의 쌍은 가까이, 음의 쌍은 멀어지도록 공동 임베딩 공간을 최적화한다.
• 계층적 어울림 메커니즘은 수준 간 보완적인 정보 흐름을 가능하게 하여 강건성과 표현 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 단일 수준의 전역 매칭과 비교해 복수의 의미 수준에서의 계층적 어울림이 비디오-텍스트 검색 성능 향상에 기여하는가?
• RQ2 세분화된 동작 및 실체 개념의 통합이 비디오-텍스트 매칭에서 표현 학습을 어떻게 향상시키는가?
• RQ3 밀도 있는 애너테이션 없이도 약한 감독 기반의 개념 기반 비디오 파싱이 얼마나 해석 가능성과 어울림 정확도 향상에 기여하는가?
• RQ4 개별, 국소, 전역 수준 어울림의 조합이 검색 성능 향상에 보완적인 기여를 하는가?
• RQ5 HANet는 인스턴스 기반 가정 하에 모호하거나 다수의 관련 비디오가 존재하는 경우 어떻게 대처하는가?

주요 결과

• HANet는 MSR-VTT와 VATEX 벤치마크에서 추가 사전 훈련이나 외부 특징 없이도 최신 기준 성능을 달성한다.
• 전체 계층적 어울림(개별 + 국소 + 전역)이 가장 높은 성능을 기록하였으며, 전역 어울림만 사용할 경우 대비 SumR에서 18.6점 향상되어 다중 수준 표현의 가치를 입증한다.
• 제거 실험 결과 각 수준의 어울림이 독립적으로 기여하며, 세 수준을 모두 조합할 경우 최고의 성능를 기록하여 그 보완성의 존재를 확인한다.
• SeMe 모듈과 관계 기반 GCN은 단순 완전 연결 층에 비해 성능 향상이著명하여 비디오 및 텍스트의 문맥을 포착하는 데 효과적임을 증명한다.
• 시각화 결과 HANet는 높은 신뢰도로 관련 개념(예: '축구', '놀이', '대화')을 예측하며, 프레임 수준의 어텐션은 의미적으로 유의미한 영역을 강조함으로써 모델의 해석 가능성 확인.
• 모호한 경우에도 HANet는 다수의 관련 비디오를 검색하여 인스턴스 기반 검색 가정 하에서의 강건성을 시사한다.