[논문 리뷰] Boundary Proposal Network for Two-Stage Natural Language Video Localization

Shaoning Xiao, Long Chen외 5명|arXiv (Cornell University)|2021. 03. 15.

Multimodal Machine Learning Applications참고 문헌 35인용 수 17

한 줄 요약

이 논문은 자연어 비디오 로컬라이제이션을 위한 이단계 프레임워크인 경계 제안 네트워크(BPNet)를 제안한다. 이는 먼저 앵커 기반 백본을 사용하지 않고 고품질의 비디오 세그먼트 제안을 생성한 후, 시각-언어 융합 레이어와 매칭 점수 평가를 통해 제안된 세그먼트를 언어 쿼리와 정렬한다. BPNet은 Charades-STA, TACoS, ActivityNet-Captions 세 가지 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 앵커 기반 및 앵커 자유 방법을 모두 능가한다. 이는 세그먼트 수준의 상호작용을 효과적으로 모델링하면서도 다양한 길이의 세그먼트에 적응 가능하게 유지함으로써 가능하다.

ABSTRACT

We aim to address the problem of Natural Language Video Localization (NLVL)-localizing the video segment corresponding to a natural language description in a long and untrimmed video. State-of-the-art NLVL methods are almost in one-stage fashion, which can be typically grouped into two categories: 1) anchor-based approach: it first pre-defines a series of video segment candidates (e.g., by sliding window), and then does classification for each candidate; 2) anchor-free approach: it directly predicts the probabilities for each video frame as a boundary or intermediate frame inside the positive segment. However, both kinds of one-stage approaches have inherent drawbacks: the anchor-based approach is susceptible to the heuristic rules, further limiting the capability of handling videos with variant length. While the anchor-free approach fails to exploit the segment-level interaction thus achieving inferior results. In this paper, we propose a novel Boundary Proposal Network (BPNet), a universal two-stage framework that gets rid of the issues mentioned above. Specifically, in the first stage, BPNet utilizes an anchor-free model to generate a group of high-quality candidate video segments with their boundaries. In the second stage, a visual-language fusion layer is proposed to jointly model the multi-modal interaction between the candidate and the language query, followed by a matching score rating layer that outputs the alignment score for each candidate. We evaluate our BPNet on three challenging NLVL benchmarks (i.e., Charades-STA, TACoS and ActivityNet-Captions). Extensive experiments and ablative studies on these datasets demonstrate that the BPNet outperforms the state-of-the-art methods.

연구 동기 및 목표

• 일단 단계 NLVL 방법의 한계를 해결하기 위해, 특히 앵커 기반 접근 방식의 비효율성과 앵커 자유 방법의 열악한 세그먼트 수준 모델링을 개선한다.
• 제안 생성과 매칭을 분리함으로써 다양한 길이의 비디오 세그먼트에 적응 가능한 보편적인 이단계 프레임워크를 개발한다.
• 전용 시각-언어 융합 레이어를 통해 시각적 및 언어적 특징을 세그먼트 수준에서 함께 모델링하여 성능을 향상시킨다.
• 앵커 기반 백본을 통해 부과되는 중복 제안을 최소화함으로써 계산 오버헤드를 줄이고, 높은 리콜을 유지한다.
• 각 단계를 별도로 업그레이드할 수 있도록 모듈화된 유연하고 교체 가능한 파이프라인을 확립한다.

제안 방법

• BPNet는 사전 정의된 시간적 앵커 없이 경계 프레임을 예측함으로써 앵커 기반 백본을 사용하지 않고 고품질의 비디오 세그먼트 제안을 생성한다.
• 첫 번째 단계는 시작 및 종료 경계를 갖는 후보 세그먼트를 출력하며, 히우리스틱 규칙을 피하고 중복을 줄인다.
• 각 후보 세그먼트와 입력 언어 쿼리 간의 다중 모odal 상호작용을 모델링하기 위해 시각-언어 융합 레이어를 도입한다.
• 융합 레이어는 비디오 및 언어적 맥락을 모두 반영하는 공동 표현을 생성하여 더 정확한 정렬을 가능하게 한다.
• 매칭 점수 평가 레이어는 각 제안에 대해 유사도 점수를 계산하고, 공동 임bedding 기반으로 최적의 매칭 세그먼트를 선택한다.
• 이 프레임워크는 엔드 투 엔드로 훈련 가능하며 모듈식 구조를 갖추고 있어 제안 생성기나 매칭 모듈을 더 강력한 구성 요소로 교체할 수 있다.

실험 결과

연구 질문

• RQ1 앵커 기반 및 앵커 자유 방법의 장점을 조합함으로써 이단계 프레임워크가 일단 단계의 앵커 기반 및 앵커 자유 방법보다 우수한 성능을 낼 수 있는가?
• RQ2 히우리스틱 앵커 설계 대비 앵커 자유 제안 생성 단계가 다양한 길이의 비디오 세그먼트에 더 잘 적응하는가?
• RQ3 세그먼트 수준에서 명시적인 시각-언어 융합이 프레임 수준의 모델링을 초월해 정렬 성능을 향상시킬 수 있는가?
• RQ4 제안 수를 줄임으로써 효율성이 얼마나 향상되며, 이로 인해 로컬라이제이션 정확도가 손상되지 않는가?
• RQ5 제안된 BPNet 프레임워크는 다른 비디오-언어 작업으로 일반화되고 확장 가능한가?

주요 결과

• BPNet는 Charades-STA, TACoS, ActivityNet-Captions 세 벤치마크에서 모두 최신 기술 수준의 성능을 달성하였으며, 기존 방법들을 능가한다.
• TACoS에서 BPNet는 단지 8개의 후보 제안만으로도 mIoU 19.53%를 기록하였으며, 최대 233개의 후보를 사용하는 앵커 기반 모델보다 뚜렷이 뛰어난 성능을 보였다.
• Charades-STA에서 BPNet는 mIoU 38.03%를 달성하였으며, 기준 앵커 기반 모델 대비 3.25% 향상되었고, 앵커 자유 모델 대비도 3.25% 향상되었다.
• 절단 분석 결과, 시각-언어 융합 레이어가 Charades-STA에서 성능을 3.25%포인트 향상시켜 34.78%에서 38.25% mIoU로 개선함으로써 세그먼트 수준의 상호작용을 모델링하는 데 효과적임을 입증하였다.
• 지속적인 세그먼트 길이가 다양한 데이터셋에서도 프레임워크가 강건하게 작동하며, 평균적으로 더 긴 지표 세그먼트를 포함하는 ActivityNet-Captions에서도 뛰어난 성능을 보였다.
• 앵커 기반 방법 대비 제안 수가 극적으로 감소(단지 8개)하여 생성된 후보의 고품질임을 입증하였다.