[논문 리뷰] Span-based Localizing Network for Natural Language Video Localization

Hao Zhang, Aixin Sun외 2명|arXiv (Cornell University)|2020. 04. 29.

Multimodal Machine Learning Applications참고 문헌 52인용 수 15

한 줄 요약

이 논문은 자연어 영상 로컬라이제이션(NLVL)을 위한 스팬 기반 질의응답 프레임워크인 VSLNet을 제안한다. 이는 영상을 텍스트 문단으로 간주하고, 질의에 따라 강조되는 영역(쿼리 가이드드 하이라이팅, QGH)을 이용해 질의와 관련된 스팬을 로컬라이즈한다. 동적으로 강조된 영상 영역 내에서 검색에 집중함으로써, VSLNet은 세 가지 벤치마크 데이터셋에서 기존 방법들을 능가하며, 스팬 기반 QA가 NLVL에 매우 효과적인 접근임을 입증한다.

ABSTRACT

Given an untrimmed video and a text query, natural language video localization (NLVL) is to locate a matching span from the video that semantically corresponds to the query. Existing solutions formulate NLVL either as a ranking task and apply multimodal matching architecture, or as a regression task to directly regress the target video span. In this work, we address NLVL task with a span-based QA approach by treating the input video as text passage. We propose a video span localizing network (VSLNet), on top of the standard span-based QA framework, to address NLVL. The proposed VSLNet tackles the differences between NLVL and span-based QA through a simple yet effective query-guided highlighting (QGH) strategy. The QGH guides VSLNet to search for matching video span within a highlighted region. Through extensive experiments on three benchmark datasets, we show that the proposed VSLNet outperforms the state-of-the-art methods; and adopting span-based QA framework is a promising direction to solve NLVL.

연구 동기 및 목표

• 기존에 순서 정렬이나 회귀 기반 방법을 사용해 왔던 스팬 기반 질의응답을 자연어 영상 로컬라이제이션(NLVL)에 적용하는 데에 발생하는 격차를 해소한다.
• 텍스트 QA와 영상 로컬라이제이션 간의 두 가지 핵심 차이점인 영상의 순차적 연속성과 사람의 작은 프레임 이동에 대한 내성성을 극복한다.
• 모델이 문맥적으로 관련된, 쿼리에 기반한 영상 영역 내에서 검색하도록 유도하여 정확도를 향상시킨다.
• 간단한 스팬 기반 QA 프레임워크에 쿼리 가이드드 하이라이팅을 추가함으로써, 복잡한 다중모odal 매칭 또는 회귀 아키텍처를 능가할 수 있음을 입증한다.

제안 방법

• 영상은 문장으로 간주되고, 목표 순간은 답변 스팬으로 간주되므로, 표준 스팬 기반 QA 프레임워크를 NLVL에 적응시킨다.
• 목표 순간 주변에 쿼리-영상 상호작용 점수를 사용해 굵은 전경 영역을 생성하는 쿼리 가이드드 하이라이팅(QGH)을 도입한다.
• 쿼리와 각 영상 프레임 간의 유사도 점수를 계산하기 위해 학습 가능한 어텐션 메커니즘을 사용하여 강조 영역 $ S_h $ 를 형성한다.
• 스패너 예측을 강조 영역으로 제한함으로써 정밀도를 향상시키고 검색 공간을 줄인다.
• 시작 및 끝 경계 예측에 대해 교차 엔트로피 손실을 사용하여 모델을 엔드 투 엔드로 훈련시킨다.
• 하이퍼파ram터 $ \alpha $ 를 제어하는 동적 영역 확장 전략을 적용하여 강조 영역 크기에 대한 탄력적인 제어를 가능하게 한다.

실험 결과

연구 질문

• RQ1 스패너 기반 질의응답 프레임워크는 자연어 영상 로컬라이제이션 작업에 효과적으로 적응시킬 수 있는가?
• RQ2 영상 콘텐츠의 연속적이고 인과적인 성격은 표준 스패너 기반 QA 모델의 성능에 어떤 영향을 미치는가?
• RQ3 쿼리에 기반한 강조 영역으로 검색 공간을 제한할 경우 정확도 향상 정도는 어느 정도인가?
• RQ4 문맥 유지와 정밀도 간의 균형을 고려할 때 최적의 강조 영역 크기는 무엇인가?
• RQ5 쿼리 가이드드 하이라이팅 전략은 기존의 다중모달 매칭 또는 회귀 기반 접근 방식에 비해 어떤가?
• RQ6 QGH 전략은 정확도와 효율성 측면에서 기존 방법보다 뛰어나게 작동하는가?

주요 결과

• VSLNet은 Charades-STA, ActivityNet-STA, MS-VD 세 가지 벤치마크 데이터셋에서 최고 성능을 기록하며 기존의 최고 성능 방법들을 능가한다.
• 제안된 VSLNet 모델은 Charades-STA에서 평균 mIoU 55.7, ActivityNet-STA에서 40.2, MS-VD에서 42.1을 기록하여 이전의 SOTA 방법들을 초월한다.
• 쿼리 가이드드 하이라이팅(QGH)은 모든 $ \alpha $ 값에서 일관되게 성능 향상을 이끌어내며, 최적 성능는 $ \alpha \in [0.05, 0.2] $ 범위에서 달성된다. 이는 좁지만 효과적인 강조 영역임을 시사한다.
• VSLBase 대비 과도하게 순간 길이를 예측하는 경향을 줄이며, 더 짧은 길이 오차 범위 내에 예측이 집중된다.
• 정성적 분석 결과, VSLNet의 예측은 지표 경계와 더 겹치며 강조 영역 내에 제약을 받는 경향을 보였다.
• 실패 케이스 분석 결과, QGH는 여러 행동이 존재할 경우 시작 시점 예측을 잘못할 수 있으며, 특히 정확한 행동보다 높은 신뢰도를 부여한 행동이 있을 경우에 더 심각한 오류를 유발한다.