[논문 리뷰] End-to-End Dense Video Grounding via Parallel Regression

Fengyuan Shi, Weilin Huang외 1명|arXiv (Cornell University)|2021. 09. 23.

Multimodal Machine Learning Applications참고 문헌 37인용 수 5

한 줄 요약

이 논문은 병렬 디코딩 파rag다임을 사용하여 문단 내 각 문장에 대해 직접 시간 경계를 회귀하는 엔드 투 엔드 프레임워크인 PRVG를 제안한다. 언어를 쿼리로 간주하고 제안 수준의 어텐션 손실을 적용함으로써, 후처리 없이도 우수한 정확도와 추론 효율성을 달성하며, ActivityNet Captions 및 TACoS 벤치마크에서 이전 방법들을 능가한다.

ABSTRACT

Video grounding aims to localize the corresponding video moment in an untrimmed video given a language query. Existing methods often address this task in an indirect way, by casting it as a proposal-and-match or fusion-and-detection problem. Solving these surrogate problems often requires sophisticated label assignment during training and hand-crafted removal of near-duplicate results. Meanwhile, existing works typically focus on sparse video grounding with a single sentence as input, which could result in ambiguous localization due to its unclear description. In this paper, we tackle a new problem of dense video grounding, by simultaneously localizing multiple moments with a paragraph as input. From a perspective on video grounding as language conditioned regression, we present an end-to-end parallel decoding paradigm by re-purposing a Transformer-alike architecture (PRVG). The key design in our PRVG is to use languages as queries, and directly regress the moment boundaries based on language-modulated visual representations. Thanks to its simplicity in design, our PRVG framework can be applied in different testing schemes (sparse or dense grounding) and allows for efficient inference without any post-processing technique. In addition, we devise a robust proposal-level attention loss to guide the training of PRVG, which is invariant to moment duration and contributes to model convergence. We perform experiments on two video grounding benchmarks of ActivityNet Captions and TACoS, demonstrating that our PRVG can significantly outperform previous methods. We also perform in-depth studies to investigate the effectiveness of parallel regression paradigm on video grounding.

연구 동기 및 목표

• 복잡한 레이블 할당과 후처리가 필요한 간접적이고 '일대다' 방식의 비디오 기반 지정 기법의 한계를 해결하기 위해.
• 단일 문장 기반 기술의 의미 모호성을 해결하기 위해 문단 수준의 맥락을 활용하여 국지화 정확도를 향상시키기 위해.
• NMS나 순위 매기기와 같은 후처리 단계를 제거함으로써 효율적인 엔드 투 엔드 추론을 가능하게 하기 위해.
• 모델 수렴을 향상시키기 위해 순간 지속 시간에 관계없이 불변인 학습 목표를 설계하기 위해.
• 직접적이고 병렬적 회귀를 사용한 언어 쿼리를 기반으로 한 밀도 있는 비디오 기반 지정의 새로운 패러다임을 수립하기 위해.

제안 방법

• 언어 쿼리를 사용하여 시각적 표현에 어텐션을 주기 위해 트랜스포머 유사 아키텍처를 재사용함으로써, 시간 경계를 직접적으로 회귀할 수 있도록 한다.
• 각 문장 쿼리가 독립적으로 하나의 순간을 회귀하는 병렬 디코딩 전략을 적용함으로써, 제안 생성이나 후처리를 회피한다.
• 스케일에 관계없이 불변인 제안 수준의 어텐션 손실을 도입하여 실제 순간 영역에 어텐션을 유도함으로써 국지화 정밀도를 향상시킨다.
• 언어 쿼리와 시각적 특징 간의 크로스 어텐션을 사용하여 전반적인 맥락을 포착하고 다양한 지속 시간을 가진 순간의 민감한 국지화를 가능하게 한다.
• 문단 내에서의 자기 어텐션을 활용하여 문장 간 관계를 모델링하고 개별 문장 기술의 모호성을 해소한다.
• 경계 상자 회귀 손실과 제안된 제안 수준의 어텐션 손실을 조합하여 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 직접적이고 병렬적 회귀 접근 방식이 간접적인 '일대다' 방법보다 밀도 있는 비디오 기반 지정에서 더 나은 성능을 내는가?
• RQ2 언어를 쿼리로 사용할 경우 국지화 정확도와 모델 효율성이 어떻게 향상되는가?
• RQ3 순간 지속 시간에 관계없이 불변인 제안 수준의 어텐션 손실이 수렴과 성능 향상에 기여하는가?
• RQ4 비교적 단일 문장 기반 기반 지정에 비해, 문단 수준의 맥락이 순간 국지화에서 의미 모호성을 어느 정도 감소시키는가?
• RQ5 빔 서치 후처리가 필요한 DETR 기반 모델과 비교했을 때, 제안된 프레임워크는 추론 속도와 정확도에서 어떻게 다른가?

주요 결과

• PRVG는 ActivityNet Captions 및 TACoS 벤치마크에서 이전 방법들을 모두 능가하며, 밀도 있는 비디오 기반 지정 분야에서 최신 기술 수준의 성능을 입증한다.
• 제안 수준의 어텐션 손실을 추가함으로써 위치 기반 어텐션 손실 대비 성능 향상이 뚜렷하게 나타나며, 실제 순간 영역에 더 집중된 어텐션을 보인다.
• 빔 서치와 후처리가 필요한 DETR 기반 모델보다 빠른 추론 속도를 달성하여, 추론 시간이 두 배 이상 빠르다.
• 제안 수준의 어텐션 손실을 사용해 훈련된 모델은 실제 순간 영역에서 더 날카롭고 다중 피크 어조의 어텐션 분포를 보이며, 더 정밀한 국지화를 의미한다.
• 특히 문단 내 문장 간의 시간적 및 의미적 관계를 포착하는 데 있어, DETR-VG 및 Language DETR-VG 기반 모델보다 뚜렷이 뛰어난 성능을 보인다.
• 문장 간 맥락을 모델링함으로써 단일 문장 기술의 모호성을 성공적으로 해소하여, 더 정확하고 시간 순서에 맞는 순간 국지화를 달성한다.