[논문 리뷰] HERO: HiErarchical spatio-tempoRal reasOning with Contrastive Action Correspondence for End-to-End Video Object Grounding

Mengze Li, Tianbao Wang외 7명|arXiv (Cornell University)|2022. 08. 11.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

HERO는 행동일致성 프레임 검색을 위한 약한 감독형 대비 학습과 피라미드 및 이동 정렬 기반 계층적 다중헤드 어텐션을 도입하여 비디오 객체 기반에서 불완전한 다중모odal 대응 및 시공간 국소성에 민감하지 않은 문제를 해결하는 종단간 프레임워크를 제안한다. 이는 두 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며 기존 방법들보다 뚜렷한 성능 향상을 보였다.

ABSTRACT

Video Object Grounding (VOG) is the problem of associating spatial object regions in the video to a descriptive natural language query. This is a challenging vision-language task that necessitates constructing the correct cross-modal correspondence and modeling the appropriate spatio-temporal context of the query video and caption, thereby localizing the specific objects accurately. In this paper, we tackle this task by a novel framework called HiErarchical spatio-tempoRal reasOning (HERO) with contrastive action correspondence. We study the VOG task at two aspects that prior works overlooked: (1) Contrastive Action Correspondence-aware Retrieval. Notice that the fine-grained video semantics (e.g., multiple actions) is not totally aligned with the annotated language query (e.g., single action), we first introduce the weakly-supervised contrastive learning that classifies the video as action-consistent and action-independent frames relying on the video-caption action semantic correspondence. Such a design can build the fine-grained cross-modal correspondence for more accurate subsequent VOG. (2) Hierarchical Spatio-temporal Modeling Improvement. While transformer-based VOG models present their potential in sequential modality (i.e., video and caption) modeling, existing evidence also indicates that the transformer suffers from the issue of the insensitive spatio-temporal locality. Motivated by that, we carefully design the hierarchical reasoning layers to decouple fully connected multi-head attention and remove the redundant interfering correlations. Furthermore, our proposed pyramid and shifted alignment mechanisms are effective to improve the cross-modal information utilization of neighborhood spatial regions and temporal frames. We conducted extensive experiments to show our HERO outperforms existing techniques by achieving significant improvement on two benchmark datasets.

연구 동기 및 목표

• 비디오 콘텐츠에 단일 행동 쿼리와 완전히 일치하지 않는 여러 행동이 포함되어 있어 다중모달 의미 대응이 불완전한 비디오 객체 기반 문제를 해결하기 위해.
• 비디오 모델링에서 트랜스포머의 시공간 국소성에 대한 민감도 부족으로 인해 세밀한 특징 정렬이 제한되는 문제를 해결하기 위해.
• 다양한 해상도에서 공간적 및 시간적 의존성을 명시적으로 모델링하여 다중모달 정렬 및 특징 표현을 향상시키기 위해.
• 구조적 계층적 추론을 통해 검색 및 기반 정확도를 동시에 향상시키는 통합형 종단간 프레임워크를 개발하기 위해.

제안 방법

• 비디오-캡션의 행동 의미 대응에 기반해 프레임을 행동일치 또는 행동독립으로 분류하는 약한 감독형 대비 학습 모듈을 도입한다.
• 완전히 연결된 어텐션을 속성-공간, 행동-공간, 행동-시간 어텐션 헤드로 분리하여 간섭을 줄이고 국소성 민감도를 향상시키는 계층적 다중헤드 자기어텐션 메커니즘을 설계한다.
• 이웃하는 공간 영역과 시간 프레임 간의 다중모달 정보 활용을 향상시키기 위해 피라미드 정렬 기법을 적용한다.
• 이동된 위치로 어텐션 맵을 재가중하여 공간적 및 시간적 의존성을 더 잘 포착하기 위해 이동 정렬 기법을 통합한다.
• 이러한 구성 요소들을 통합하여 행동 검색과 객체 기반을 동시에 최적화하는 종단간 모델을 구성한다.
• 먼저 행동일치 프레임을 식별한 후 객체 국소화를 정밀화하는 코arse-to-fine 검색 전략을 사용한다.

실험 결과

연구 질문

• RQ1 비디오 의미가 텍스트 쿼리보다 더 세밀한 경우, 약한 감독형 대비 학습은 다중모달 정렬에 어떻게 기여하는가?
• RQ2 분리된 어텐션 헤드를 갖는 계층적 어텐션은 트랜스포머에서 시공간 국소성 모델링에 얼마나 기여하는가?
• RQ3 피라미드 및 이동 정렬 기법은 공간 및 시간 차원에서 다중모달 특징 활용을 어떻게 향상시키는가?
• RQ4 HERO 프레임워크의 개별 구성 요소는 비디오 객체 기반에서 전체 성능 향상에 어떻게 기여하는가?
• RQ5 제안된 계층적 추론 프레임워크는 표준 벤치마크에서 표준 트랜스포머 기반 모델보다 우월한가?

주요 결과

• VidSTG 데이터셋에서 HERO는 평균 mAP 63.8%를 달성하여 이전 SOTA 방법(63.1%)과 기본 모델(60.4%)보다 뚜렷한 향상을 보였다.
• MSVD 데이터셋에서는 mAP 64.5%를 기록하여 최고의 베이스라인(63.3%)을 초월했으며, 두 벤치마크에서 일관된 성능 향상을 보였다.
• 제거 실험 결과, 코어스-투-파인 행동 검색 또는 계층적 MSA 모듈을 제거할 경우 성능 저하가 발생하여 이들의 필수성을 확인했다.
• 모든 구성 요소의 조합이 가장 높은 성능을 낸 것으로 나타나, 대비 학습, 계층적 어텐션, 정렬 기법 간 상호보완적 기여가 있음을 입증했다.
• 시각화 결과, HERO는 더 정확한 바운딩 박스를 예측하고 특히 다중 행동이 포함된 복잡한 장면에서 진정한 라벨과 더 잘 일치함을 확인했다.
• 세부 행동으로 묘사된 객체를 국소화하는 데서 특히 STVGBert(가장 높은 성능를 기록한 베이스라인)보다 더 강력한 표현 학습 능력과 탐지 능력을 보였다.