[논문 리뷰] Grounded Video Situation Recognition

Zeeshan Ali Khan, C. V. Jawahar외 1명|arXiv (Cornell University)|2022. 10. 19.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

이 논문은 VideoWhisperer라고 불리는 세 단계의 트랜스포머 모델을 사용하여 비디오에서 동작-역할 쌍, 텍스트 캡션, 시공간적 기반을 동시에 예측하는 새로운 프레임워크인 기반 비디오 상황 인식(GVSR)을 제안한다. 이 방법은 VidSitu 데이터셋에서 CIDEr 점수 52.3(기존 46.0 대비 22% 향상)로 최신 기술 수준을 달성하였으며, 학습 시 바운딩 박스 레이블 없이 약한 지도 학습을 통해 기반 예측을 가능하게 한다.

ABSTRACT

Dense video understanding requires answering several questions such as who is doing what to whom, with what, how, why, and where. Recently, Video Situation Recognition (VidSitu) is framed as a task for structured prediction of multiple events, their relationships, and actions and various verb-role pairs attached to descriptive entities. This task poses several challenges in identifying, disambiguating, and co-referencing entities across multiple verb-role pairs, but also faces some challenges of evaluation. In this work, we propose the addition of spatio-temporal grounding as an essential component of the structured prediction task in a weakly supervised setting, and present a novel three stage Transformer model, VideoWhisperer, that is empowered to make joint predictions. In stage one, we learn contextualised embeddings for video features in parallel with key objects that appear in the video clips to enable fine-grained spatio-temporal reasoning. The second stage sees verb-role queries attend and pool information from object embeddings, localising answers to questions posed about the action. The final stage generates these answers as captions to describe each verb-role pair present in the video. Our model operates on a group of events (clips) simultaneously and predicts verbs, verb-role pairs, their nouns, and their grounding on-the-fly. When evaluated on a grounding-augmented version of the VidSitu dataset, we observe a large improvement in entity captioning accuracy, as well as the ability to localize verb-roles without grounding annotations at training time.

연구 동기 및 목표

• 통합된 프레임워크를 통해 행동 인식, 의미 역할 레이블링, 시공간적 기반 예측을 통합하여 종합적인 비디오 이해를 가능하게 한다.
• 기존 연구에서 정답 동작어에 의존하거나 기반 예측이 부족한 점을 보완하기 위해 약한 지도 학습 기반 기반 예측 모듈을 도입한다.
• 다중 이벤트 간 엔티티 및 역할의 의미 모호함을 줄이고, 공동 모델링을 통해 캡션 생성 편향을 감소시킨다.
• 학습 시 기반 레이블이 필요 없이 동작, 역할, 캡션, 시각적 기반 예측을 종단 간(end-to-end)으로 수행할 수 있도록 설계된 모델을 제안한다.

제안 방법

• 세 단계 트랜스포머 아키텍처: (1) 비디오 클립과 객체 특징을 함께 인코딩하여 문맥 기반 임베딩을 생성하는 비디오-객체 인코더.
• 두 번째 단계에서 사용하는 역할-질의 어텐션 메커니즘: 동작-역할 질의를 사용해 객체 특징에 주의를 기울이고, 교차 어텐션을 통해 관련 시각적 영역을 국소화한다.
• 세 번째 단계에서의 캡션 생성 헤드: 주의 기반 특징을 사용해 각 역할-엔티티 쌍에 대해 자유형 텍스트 기반 설명을 생성한다.
• 학습 시 바운딩 박스 레이블 없이 약한 지도 학습만을 사용하여 전체 모델을 종단 간 학습한다.
• 이벤트 수준의 표현과 클립 간 자기 어텐션을 통해 전역적 맥락 이해 및 세밀한 추론을 가능하게 한다.
• 통합된 아키텍처를 통해 동작 분류, SRL, 기반 예측을 공동 최적화하며, 작업 간의 분리성을 유지하면서도 상호 의존성을 유지한다.

실험 결과

연구 질문

• RQ1 학습 시 기반 레이블이 필요 없이도 통합된 모델이 비디오에서 동작, 의미 역할, 캡션, 시공간적 기반을 동시에 예측할 수 있는가?
• RQ2 동작 예측, SRL, 기반 예측을 공동으로 모델링할 경우, 별도 또는 동작어 지도 학습 기반 접근법에 비해 캡션 정확도와 국소화 성능이 어떻게 향상되는가?
• RQ3 약한 지도 학습과 문맥 기반 특징에 의존할 때, 모델이 다중 이벤트 간 역할과 공참조 엔티티를 얼마나 잘 구분할 수 있는가?
• RQ4 기반 예측이 장기적 꼬리 분포 및 애매한 기술 설명 상황에서 생성된 캡션의 품질과 다양성에 어떤 영향을 미치는가?

주요 결과

• 제안된 VideoWhisperer 모델은 종단 간 'Pred, Pred' 설정에서 CIDEr 점수 52.3을 달성하여 기준 설정인 'GT, GT'(46.0)보다 22% 향상되었다.
• 학습 시 바운딩 박스 지도 없이도 기반 예측의 IoU가 0.13에 도달하여 효과적인 약한 지도 학습 기반 국소화를 입증하였다.
• 정답 동작어를 사용할 경우 성능이 크게 떨어지며(예: CIDEr 45.06 대비 52.3), 이는 모델의 공동 학습이 골드 동작어에 대한 의존도를 줄임을 보여준다.
• 정성적 결과에서는 모델이 다양한 의미적으로 정확한 캡션(예: '흰 옷 입은 여자' → '흰 옷을 입은 여자'로 표현)을 생성하고, 복잡한 장면에서 주체, 목적어, 도구를 정확히 국소화함을 확인하였다.
• 표정에 주의를 기울여 비시각적 역할(예: 방식)까지도 기반 예측하는 데 성공하여 의미 역할에 대한 효과적인 어텐션 메커니즘이 작동함을 시사한다.
• 한계점으로는 동작 및 역할 예측 정확도 향상 어려움, 동일 객체의 다중 인스턴스에 대한 어텐션 문제, 장기적 꼬리 분포 상황에서의 캡션 다양성 저하 등이 있다.