[논문 리뷰] Relation-aware Video Reading Comprehension for Temporal Language Grounding

Jialin Gao, Sun Xin외 3명|arXiv (Cornell University)|2021. 10. 12.

Multimodal Machine Learning Applications참고 문헌 41인용 수 5

한 줄 요약

이 논문은 시계열 언어 기반을 비디오 독해 이해 문제로 공식화하여, 질의와 비디오 순간 후보 간의 굵은-세밀한 다중모달 상호작용을 활용하고, 그래프 컨volution 네트워크를 사용해 후보 간 관계를 모델링함으로써 관계 인식 네트워크(RaNet)를 제안한다. RaNet은 기존 방법 대비 TACoS에서 평균 평균 정밀도를 33.54% 향상시켜 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Temporal language grounding in videos aims to localize the temporal span relevant to the given query sentence. Previous methods treat it either as a boundary regression task or a span extraction task. This paper will formulate temporal language grounding into video reading comprehension and propose a Relation-aware Network (RaNet) to address it. This framework aims to select a video moment choice from the predefined answer set with the aid of coarse-and-fine choice-query interaction and choice-choice relation construction. A choice-query interactor is proposed to match the visual and textual information simultaneously in sentence-moment and token-moment levels, leading to a coarse-and-fine cross-modal interaction. Moreover, a novel multi-choice relation constructor is introduced by leveraging graph convolution to capture the dependencies among video moment choices for the best choice selection. Extensive experiments on ActivityNet-Captions, TACoS, and Charades-STA demonstrate the effectiveness of our solution. Codes have been available.

연구 동기 및 목표

• 시계열 언어 기반에서 시각적으로 유사한 비디오 순간 후보를 구분하는 데 도전하는 것.
• 세분화된 토큰 수준 및 문장 수준의 상호작용을 통해 질의와 비디오 순간 간의 다중모달 정렬을 향상시키는 것.
• 다중 순간 후보 간의 의미적 및 시계적 의존성 관계를 모델링하여 후보 순위를 향상시키는 것.
• 기존 방법보다 우수한 성능을 내는 표준 벤치마크에서의 효율적이고 경량화된 아키텍처를 개발하는 것.

제안 방법

• 비디오(패스제이지), 질의(질문), 다중 후보(후보 순간)를 포함한 비디오 독해 이해 문제로 시계열 언어 기반을 공식화한다.
• 문장-순간 및 토큰-순간 수준에서 굵은-세밀한 다중모달 상호작용을 수행하는 선택-질의 상호작용기(Choice-Query Interactor)를 도입한다.
• 후보 순간 표현 간의 의존성을 모델링하기 위해 그래프 컨volution 네트워크(GCN) 기반의 다중선택 관계 구성기(Multi-choice Relation Constructor)를 활용한다.
• 전역 순간 간 관계를 효율적으로 캡처하기 위해 희소 연결 그래프 어텐션 메커니즘을 사용하여 FLOPs를 감소시킨다.
• 개선된 텍스트 표현을 위해 사전 훈련된 워드 임베딩(예: BERT)을 사용하고, 초기 특징 융합을 위해 연결(concatenation)을 활용한다.
• 통합 시각-텍스트 및 관계 기반 특징을 바탕으로 후보 집합에서 가장 잘 매칭되는 순간을 선택하기 위해 랭커를 활용한다.

실험 결과

연구 질문

• RQ1 문장 수준 및 토큰 수준의 상호작용을 모두 모델링하면 시계열 기반에서 시각-언어 정렬이 향상되는가?
• RQ2 비디오 순간 후보 간의 상호관계를 캡처하면 모호한 상황에서 순위 매기기 성능이 향상되는가?
• RQ3 시계열 기반을 비디오 독해 이해 문제로 공식화하면 일반화 능력과 성능이 향상되는가?
• RQ4 그래프 기반 관계 모델링은 컨volution 또는 자기어텐션 메커니즘에 비해 정확도와 효율성 측면에서 어떻게 비교되는가?

주요 결과

• RaNet은 TACoS 데이터셋에서 Rank 1@0.5 점수를 33.54%로 기록하여 이전 최신 기술 수준 방법인 2D-TAN 대비 33.54% 향상시켰다.
• 세 가지 벤치마크인 ActivityNet-Captions, TACoS, Charades-STA에서 최신 기술 수준 방법들을 초월하여 일관된 성능 향상을 보였다.
• BERT 임베딩을 사용할 경우 최고의 성능(57.34% Rank 1@0.1 on TACoS)을 기록하여 문맥 기반 텍스트 특징의 중요성을 확인했다.
• 2D-TAN 대비 RaNet은 훨씬 더 효율적이며, ActivityNet에서 파라미터 수가 12.8M, FLOPs가 43.92G로, 91.59M 파라미터와 997.30G FLOPs를 기록한 2D-TAN에 비해 뛰어난 효율성을 보였다.
• 제거 실험(ablation study) 결과 굵은-세밀한 상호작용 모듈과 관계 구성기 모듈이 성능 향상에 필수적임을 확인했으며, 둘 중 하나를 제거하면 정확도가 크게 떨어졌다.
• 정성적 결과 분석에서 RaNet의 예측 결과는 특히 시각적으로 유사한 후보가 존재하는 경우 기준값에 더 가까운 것으로 나타났다.