[논문 리뷰] Human-centric Spatio-Temporal Video Grounding With Visual Transformers

Zongheng Tang, Yue Liao외 6명|arXiv (Cornell University)|2020. 11. 10.

Multimodal Machine Learning Applications참고 문헌 44인용 수 14

한 줄 요약

이 논문은 자연어 쿼리를 사용하여 트림되지 않은 영상에서 특정 인물의 시공간 튜브를 국지화하는 새로운 작업인 인간 중심 시공간 영상 기반( HC-STVG)을 소개한다. 저자들은 시각적 트랜스포머 기반의 STGVT를 제안하며, 이는 교차 모odal 영상-문장 표현을 동시에 모델링하고 튜브 정렬 모듈을 활용하여 새로운 HC-STVG 데이터셋(5,660개의 영상-문장 쌍)에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this work, we introduce a novel task - Humancentric Spatio-Temporal Video Grounding (HC-STVG). Unlike the existing referring expression tasks in images or videos, by focusing on humans, HC-STVG aims to localize a spatiotemporal tube of the target person from an untrimmed video based on a given textural description. This task is useful, especially for healthcare and security-related applications, where the surveillance videos can be extremely long but only a specific person during a specific period of time is concerned. HC-STVG is a video grounding task that requires both spatial (where) and temporal (when) localization. Unfortunately, the existing grounding methods cannot handle this task well. We tackle this task by proposing an effective baseline method named Spatio-Temporal Grounding with Visual Transformers (STGVT), which utilizes Visual Transformers to extract cross-modal representations for video-sentence matching and temporal localization. To facilitate this task, we also contribute an HC-STVG dataset consisting of 5,660 video-sentence pairs on complex multi-person scenes. Specifically, each video lasts for 20 seconds, pairing with a natural query sentence with an average of 17.25 words. Extensive experiments are conducted on this dataset, demonstrating the newly-proposed method outperforms the existing baseline methods.

연구 동기 및 목표

• 긴 트림되지 않은 영상에서 동시에 공간적·시간적으로 특정 인물을 국지화할 수 있는 영상 기반 방법의 부족을 해결하기 위해.
• 인간 중심 영상 기반을 위한 풍부한 시공간 애너테이션을 포함한 새로운 벤치마크 데이터셋을 개발하기 위해.
• 복잡한 다인용 장면에서 시각적 및 텍스처 모odal 간의 세밀한 추론이 가능한 종단 간(end-to-end) 강력한 방법을 제안하기 위해.
• 시각적 트랜스포머가 공동 영상-문장 매칭 및 시간 국지화를 위한 장거리 의존성 모델링에 어떻게 효과적인지 입증하기 위해.

제안 방법

• 두 단계 프레임워크인 STGVT를 제안: 먼저 튜브-설명 매칭 모듈을 통해 튜브 후보를 생성하고, 이후 튜브 정렬 모듈을 통해 이를 정밀하게 조정한다.
• 영상 프레임에서 고수준의 시각적 특징을 추출하기 위해 Conceptual Captions에서 미리 훈련된 시각적 트랜스포머 백본을 사용한다.
• 언어 기반 설명과 시공간 튜브를 정렬하기 위해 텍스트 쿼리 임베딩과 시각적 특징 간의 교차 어텐션 메커니즘을 활용한다.
• 초기 예측을 시간적 일관성과 시각적 관련성 기반으로 시작 및 종료 프레임을 예측함으로써 개선하는 튜브 정렬 모듈을 도입한다.
• 공간적 및 시간적 차원에서 텍스트 쿼리와 시각적 토큰 간의 상호작용을 모델링하기 위해 다중 헤드 교차 어텐션 메커니즘을 활용한다.
• 사전 훈련 단계에서 대비 학습 전략을 활용하여 영상 및 텍스트 표현 간의 정렬을 향상시킨다.

실험 결과

연구 질문

• RQ1 시각적 트랜스포머 기반 모델이 긴 트림되지 않은 영상 내에서 특정 인물을 공간적·시간적으로 효과적으로 국지화할 수 있는가?
• RQ2 튜브 정렬 모듈의 통합이 원시 튜브 예측 대비 시간 국지화 정확도를 얼마나 향상시키는가?
• RQ3 대규모 캡션 데이터에서의 사전 훈련이 HC-STVG 작업 성능 향상에 어느 정도 기여하는가?
• RQ4 복잡한 다인용 상황에서 제안된 방법이 기존 영상 기반 베이스라인과 비교해 어떻게 성능을 냈는가?

주요 결과

• 제안된 STGVT 방법은 HC-STVG 데이터셋에서 평균 vIoU 16.93%를 기록하여 WSSTG 베이스라인(12.96%)을 크게 앞서며 성능을 냈다.
• 튜브 정렬 모듈은 정렬이 없는 버전 대비 m_vIoU에서 3.78% 향상시키며, 시간 경계를 정밀하게 조정하는 데 효과적임을 입증했다.
• 사전 훈련을 적용한 방법은 m_tIoU 34.71%를 기록하여 무작위 베이스라인(0.71%)과 기존 방법(TALL 및 2D-TAN)을 모두 앞섰다.
• 제거 실험 결과, 튜브-설명 매칭 모듈과 정렬 모듈 모두 성능 향상에 기여하며, 특히 후자가 가장 큰 기여를 했다.
• 정성적 결과에서는 대부분의 사례에서 TALL+WSSTG 베이스라인 대비 더 정확한 공간 바운딩 박스와 더 나은 시간 정렬을 제공함을 확인했다.
• 다양한 영상 세그먼트에서 일관된 성능 향상이 관찰되어, 여러 평가 지표 및 데이터셋 분할에서 일반화 능력이 뛰어남을 보였다.