[논문 리뷰] LGDN: Language-Guided Denoising Network for Video-Language Modeling

Haoyu Lu, Mingyu Ding외 3명|arXiv (Cornell University)|2022. 09. 23.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 언어 지도 하에 잡음이 많거나 관련성이 없는 비디오 프레임을 동적으로 필터링하여 정확한 토큰 수준의 다중모态 정렬을 위해 각 비디오당 2–4개의 주목할 만한 프레임을 유지하는 언어 유도 노이즈 제거 네트워크인 LGDN을 제안한다. Salient Frame Proposal (SFP) 기반 구조와 동량 기반 대비 학습, 토큰 인식 주의 메커니즘을 통합함으로써 LGDN은 계산 비용을 크게 줄이며 다섯 개인 비디오-언어 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Video-language modeling has attracted much attention with the rapid growth of web videos. Most existing methods assume that the video frames and text description are semantically correlated, and focus on video-language modeling at video level. However, this hypothesis often fails for two reasons: (1) With the rich semantics of video contents, it is difficult to cover all frames with a single video-level description; (2) A raw video typically has noisy/meaningless information (e.g., scenery shot, transition or teaser). Although a number of recent works deploy attention mechanism to alleviate this problem, the irrelevant/noisy information still makes it very difficult to address. To overcome such challenge, we thus propose an efficient and effective model, termed Language-Guided Denoising Network (LGDN), for video-language modeling. Different from most existing methods that utilize all extracted video frames, LGDN dynamically filters out the misaligned or redundant frames under the language supervision and obtains only 2--4 salient frames per video for cross-modal token-level alignment. Extensive experiments on five public datasets show that our LGDN outperforms the state-of-the-arts by large margins. We also provide detailed ablation study to reveal the critical importance of solving the noise issue, in hope of inspiring future video-language work.

연구 동기 및 목표

• 비디오-언어 모델링에서 노이즈가 많고 잘못 정렬된 비디오 프레임으로 인한 다중모달 정렬 저하 문제를 해결하기 위해.
• 밀도 높은 또는 희소한 프레임 샘플링의 한계를 극복하기 위해 언어 지도 하에 유의미한 프레임만 동적으로 식별함으로써.
• 주목할 만한 프레임에 집중함으로써 계산 오버헤드를 줄이고 효과적인 토큰 수준의 다중모달 정렬을 가능하게 하기 위해.
• 프레임 수준 및 비디오 수준의 대비 학습을 언어 유도 필터링과 통합한 새로운 프레임워크를 통해 비디오-언어 모델링 성능을 향상시키기 위해.
• 모델 크기를 늘리지 않더라도 관련 없는 프레임을 제거함으로써 성능 향상이 상당히 이루어질 수 있음을 입증하기 위해.

제안 방법

• 각 비디오당 2–4개의 주목할 만한 프레임만 식별하기 위해 네 가지 언어 지도 전략을 사용해 프레임 수준의 관련성 점수를 추정하는 Salient Frame Proposal (SFP) 기반 메커니즘을 제안한다.
• 동량 인코더를 활용해 동량 기반의 다중 주목 프레임 학습 및 대비 학습(MFCL) 모듈을 도입하여 프레임 수준의 표현 학습을 향상시킨다.
• 비디오 수준의 표현 학습을 안정화시키기 위해 동량 업데이트를 활용하는 동량 비디오 수준 대비 학습(MVCL) 모듈을 제안한다.
• 토큰 인식 크로스 어텐션을 활용한 언어 유도 주목 프레임 매칭(LSFM) 모듈을 도입하여 토큰 수준의 정밀한 다중모달 정렬을 가능하게 한다.
• 균일한 프레임 샘플링 후 언어 유도 필터링을 수행하는 두 단계 샘플링 전략을 SFP 기반 메커니즘과 결합한다.
• SimDot, Momentum, CrossMom, Collaborative 등 다양한 관련성 점수 추정기들을 활용해 텍스트-비디오 일관성 기반으로 프레임 선택을 최적화한다.

실험 결과

연구 질문

• RQ1 언어 지도가 효과적으로 노이즈가 많거나 관련성이 없는 비디오 프레임을 식별하고 제거하여 비디오-언어 모델링 성능을 향상시킬 수 있는가?
• RQ2 모든 프레임이나 희소하게 샘플링된 프레임을 사용하는 것과 비교해, 각 비디오당 2–4개의 주목할 만한 프레임만 유지함으로써 성능 향상이 이루어지는가?
• RQ3 동량 기반 대비 학습을 프레임 수준 및 비디오 수준에 통합함으로써 노이즈가 많은 데이터 상황에서 표현 학습이 어떻게 향상되는가?
• RQ4 제안된 SFP 기반 메커니즘이 다양한 프레임 샘플링 전략(예: 희소, 무작위, 균일)에 대해 얼마나 일반화되는가?
• RQ5 모델 용량을 늘리지 않더라도 제안된 프레임워크가 최신 기술 수준 성능을 달성할 수 있는가?

주요 결과

• LGDN은 다섯 개인 공개 비디오-언어 데이터셋에서 최신 기술 수준(SOTA) 기법들을 능가하며, MSR-VTT 1kA에서 181.1 R@SUM을 달성하여 이전 SOTA 모델을 초월한다.
• SFP 기반 메커니즘이 희소, 무작위, 균일 샘플링 전략을 포함한 다양한 프레임 샘플링 전략에서 성능 향상을 크게 개선함으로써 일반화 능력을 입증한다.
• Momentum와 CrossMom을 조합한 Collaborative 관련성 점수 추정기에서 최고의 성능를 기록하여, 동량 기반 추정 방식이 프레임 관련성 예측에 기여함을 시사한다.
• 융합 레이어 없이도 LGDN(global)는 164.6 R@SUM을 기록하여 180M 파라미터를 가진 Frozen in Time를 능가함으로써, 성능 향상이 모델 크기 때문이 아니라는 것을 입증한다.
• 시각화 결과 SFP 기반 메커니즘이 전환, 관련 없는 장면 등 노이즈 프레임을 정확히 식별하고 제거하는 동안 의미적으로 정렬된 프레임은 유지함을 확인한다.
• 절단 실험 결과 SFP 샘플링과 무작위 샘플링 간의 성능 격차가 크며, 이는 비디오-언어 모델링에서 노이즈 감소를 위한 동적 프레임 필터링의 핵심적 중요성을 입증한다.