[논문 리뷰] LoGAN: Latent Graph Co-Attention Network for Weakly-Supervised Video Moment Retrieval

Reuben Tan, Huijuan Xu외 2명|arXiv (Cornell University)|2019. 09. 27.

Multimodal Machine Learning Applications참고 문헌 40인용 수 13

한 줄 요약

LoGAN은 반복적 메시지 전달을 통해 모든 비디오 프레임 쌍 간의 상호작용과 관계적 맥락을 모델링하는 워드 조건형 시각적 그래프(Word-Conditioned Visual Graph, WCVG)를 사용하는 잠재 그래프 공주의 네트워크를 제안한다. 쿼리 조건형 그래프 추론과 위치 인코딩을 활용하여, DiDeMo 데이터셋에서 Recall@1 기준으로 기존 강력한 지도 학습 방법보다 11% 높은 성능을 달성한다.

ABSTRACT

The goal of weakly-supervised video moment retrieval is to localize the video segment most relevant to the given natural language query without access to temporal annotations during training. Prior strongly- and weakly-supervised approaches often leverage co-attention mechanisms to learn visual-semantic representations for localization. However, while such approaches tend to focus on identifying relationships between elements of the video and language modalities, there is less emphasis on modeling relational context between video frames given the semantic context of the query. Consequently, the above-mentioned visual-semantic representations, built upon local frame features, do not contain much contextual information. To address this limitation, we propose a Latent Graph Co-Attention Network (LoGAN) that exploits fine-grained frame-by-word interactions to reason about correspondences between all possible pairs of frames, given the semantic context of the query. Comprehensive experiments across two datasets, DiDeMo and Charades-Sta, demonstrate the effectiveness of our proposed latent co-attention model where it outperforms current state-of-the-art (SOTA) weakly-supervised approaches by a significant margin. Notably, it even achieves a 11% improvement to Recall@1 accuracy over strongly-supervised SOTA methods on DiDeMo.

연구 동기 및 목표

• 기존의 약한 지도 학습 비디오 모멘트 검색 방법들이 각 프레임을 독립적인 입력으로 간주하여 시간적 및 관계적 맥락이 부족한 문제를 해결하기 위해.
• 쿼리 조건형 그래프 추론을 통해 가능한 모든 프레임 쌍 간의 대응 관계를 모델링하여 시각-언어 표현 학습을 향상시키기 위해.
• 비디오 시퀀스 전반에 걸친 세밀한 프레임-단어 상호작용과 맥락적 의존성을 포착하여 국소화 정확도를 향상시키기 위해.
• 잠재 다중모odal 추론을 그래프 전파를 통해 수행할 경우 표준 공주 또는 LSTM 기반 접근 방식보다 우수한 성능을 낼 수 있음을 입증하기 위해.
• 맥락화된 시각-언어 표현을 기반으로 약한 지도 학습 비디오-언어 이해를 위한 강력한 베이스라인을 수립하기 위해.

제안 방법

• 노드로 프레임 특징과 시각-언어 표현을 사용하고, 메시지 전달을 통해 동적으로 간선 가중치를 설정하는 워드 조건형 시각적 그래프(Word-Conditioned Visual Graph, WCVG)를 구성한다.
• 프레임에 특화된 비디오 표현으로 단어 특징을 업데이트함으로써 시각-언어 표현을 계산하여, 다중모달 정렬의 세밀한 수준을 가능하게 한다.
• 여러 차례의 메시지 전달을 통해 모든 프레임 쌍 간에 맥락 정보를 전파하며, 쿼리에 조건화된 시간적 및 관계적 의존성을 모델링한다.
• 상대적 프레임 위치 정보를 주입하기 위해 위치 인코딩을 사용하며, 시퀀스 맥락을 모델링하는 데 있어 시간적 종단점 특징보다 우수한 성능을 보인다.
• 시퀀스의 시간적 애너테이션 없이 약한 지도 학습 비디오-쿼리 쌍만을 사용하여, 끝에서 끝까지 훈련할 수 있도록 다중 인스턴스 학습(Multiple Instance Learning, MIL) 패러다임을 적용한다.
• 반복 구조를 피하기 위해 그래프 기반 메시지 전달에 의존함으로써, 효율적이고 종합적인 프레임 간 추론이 가능해진다.

실험 결과

연구 질문

• RQ1 그래프 기반 공주의 기반으로 쌍별 프레임 관계를 모델링할 경우, 약한 지도 학습 비디오 모멘트 검색 성능 향상에 기여할 수 있는가?
• RQ2 시각적 그래프에서 쿼리 조건형 메시지 전달이 비디오 세그먼트와 자연어 쿼리 간의 정렬을 향상시키는가?
• RQ3 위치 인코딩의 포함 여부가 시간적 종단점 특징(Temporal Endpoint Features, TEF)보다 국소화 정확도 향상에 더 효과적인가?
• RQ4 문장 수준의 표현 집약보다 세밀한 프레임-단어 상호작용이 시각-언어 추론에서 얼마나 더 뛰어난가?
• RQ5 약한 지도 학습 모델이 표준 벤치마크에서 강력한 지도 학습 SOTA 방법과 비교해 유사하거나 그 이상의 성능을 달성할 수 있는가?

주요 결과

• LoGAN은 DiDeMo 데이터셋에서 Recall@1이 39.20%를 기록하여, 이전 SOTA 약한 지도 학습 방법(TGA)보다 27% 이상 높은 성능을 보였다.
• DiDeMo에서 LoGAN은 TGN과 MCN 등의 강력한 지도 학습 SOTA 방법보다 Recall@1 기준으로 11% 높은 성능을 기록하여, 맥락 기반 추론의 효과성을 입증했다.
• 제거 실험 결과, WCVG 구성 요소는 기준 모델인 FBW에 비해 Recall@1을 6.91% 향상시켜, 그래프 기반 메시지 전달의 가치를 입증했다.
• 위치 인코딩은 정렬 정확도를 크게 향상시켰지만, 시간적 종단점 특징(Total Endpoint Features, TEF)은 성능 향상을 이루지 못해 시퀀스 맥락을 모델링하는 데 열등함을 시사했다.
• 메시지 전달을 3회 반복할 경우 최적의 성능을 기록했으며, 더 많은 반복은 성능 저하를 유도함으로써 맥락 집약의 최적 균형이 존재함을 시사했다.
• 모델의 성능은 더 큰 기준 모델과 파arameter 수를 동일하게 맞춰도 유지되어, 제안된 아키텍처의 효율성과 효과성을 확인했다.