[논문 리뷰] Bringing Image Scene Structure to Video via Frame-Clip Consistency of Object Tokens

Elad Ben-Avraham, Roei Herzig외 6명|arXiv (Cornell University)|2022. 06. 13.

Human Pose and Action Recognition인용 수 8

한 줄 요약

이 논문은 소수의 애너테이션된 정적 이미지에서 구조적 장면 정보를 활용하여 영상 이해 성능을 향상시키는 비디오 트랜스포머 프레임워크인 StructureViT (SViT)를 제안한다. 유연한 객체 토큰과 프레임-클립 일致성 손실을 도입함으로써, 이미지에서의 수동-객체 상호작용 구조(HAOG)를 영상으로 전이함으로써, 여러 영상 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, Ego4D Point of No Return 챌린지에서 1위를 기록하였다.

ABSTRACT

Recent action recognition models have achieved impressive results by integrating objects, their locations and interactions. However, obtaining dense structured annotations for each frame is tedious and time-consuming, making these methods expensive to train and less scalable. At the same time, if a small set of annotated images is available, either within or outside the domain of interest, how could we leverage these for a video downstream task? We propose a learning framework StructureViT (SViT for short), which demonstrates how utilizing the structure of a small number of images only available during training can improve a video model. SViT relies on two key insights. First, as both images and videos contain structured information, we enrich a transformer model with a set of \emph{object tokens} that can be used across images and videos. Second, the scene representations of individual frames in video should "align" with those of still images. This is achieved via a \emph{Frame-Clip Consistency} loss, which ensures the flow of structured information between images and videos. We explore a particular instantiation of scene structure, namely a \emph{Hand-Object Graph}, consisting of hands and objects with their locations as nodes, and physical relations of contact/no-contact as edges. SViT shows strong performance improvements on multiple video understanding tasks and datasets. Furthermore, it won in the Ego4D CVPR'22 Object State Localization challenge. For code and pretrained models, visit the project page at \url{https://eladb3.github.io/SViT/}

연구 동기 및 목표

• 소수의 정적 이미지에서 구조적 장면 애너테이션을 활용하여 비전 트랜스포머의 영상 이해 성능을 향상시키는 것.
• 이미지 애너테이션과 영상 데이터 사이의 도메인 불일치 문제를 해결하는 것, 특히 애너테이션이 영상 카테고리와 일치하지 않을 경우에 초점 맞추기.
• 외부 객체 검출기나 정렬된 애너테이션 없이도 정적 이미지에서 영상으로 지식 전이를 효과적으로 수행할 수 있도록 하는 것.
• 손동작-객체 그래프와 같은 구조적 장면 표현이 이미지와 영상 모odal 간 효과적으로 학습되고 일반화될 수 있음을 보여주는 것.
• 이미지와 영상 입력 간 객체 표현의 일관성을 보장하는 훈련 목표를 개발하여 모델 일반화 능력을 향상시키는 것.

제안 방법

• 영상과 이미지 트랜스포머 아키텍처에서 공유되는 패치 토큰과 함께 훈련되는 학습 가능한 객체 토큰(객체 프롬프트)을 도입한다.
• 손과 물체를 노드로, 접촉/비접촉 관계를 간선으로 가지는 HAnd-Object Graph (HAOG)를 장면 구조를 표현하는 데 사용한다.
• 영상 클립과 정적 이미지 간의 객체 토큰 표현을 일치시키기 위해 프레임-클립 일치성 손실을 적용하여 구조적 일관성을 확보한다.
• 영상 입력을 사용해 객체 프롬프트를 HAOG 기반으로 지도 훈련하고, 영상 입력을 사용해 최종 영상 분류 또는 국소화 작업을 위한 엔드 투 엔드 훈련을 수행한다.
• 영상과 이미지를 모두 처리할 수 있는 공유 트랜스포머 백본(예: MViTv2)을 사용하여 다중 모odal 간 지식 전이를 가능하게 한다.
• 객체 검출기나 이미지 및 영상 객체 카테고리 간 정렬이 필요 없어, 도메인 간 제로샷 또는 피кс샷 전이가 가능하다.

실험 결과

연구 질문

• RQ1 소수의 애너테이션된 정적 이미지에서 유도된 구조적 장면 표현이 비전 트랜스포머의 영상 이해 성능을 향상시킬 수 있는가?
• RQ2 일치하는 객체 카테고리가 없이도 이미지와 영상 간에 객체 중심 표현을 일관성 있게 학습할 수 있는가?
• RQ3 영상 트랜스포머에서 이미지에서 영상으로 장면 구조를 효과적으로 전이하기 위해 어떤 훈련 목표가 필요한가?
• RQ4 제한된 도메인 내 데이터를 가질 경우 HAOG 기반의 구조가 영상 이해 작업 성능에 얼마나 기여하는가?
• RQ5 이미지 애너테이션이 영상 데이터와 다른 분포를 가질 경우, 이 방법이 도메인 간 일반화에 효과적으로 작용할 수 있는가?

주요 결과

• SViT는 Something-Something V2 행동 인식 벤치마크에서 기준 MViTv2 대비 정확도 3.2% 향상시켜 최신 기술 수준 성능 달성.
• Ego4D CVPR’22 Point of No Return 시간적 국소화 챌린지에서 1위를 기록하여 장기적 영상 이해에서 강력한 일반화 능력을 입증.
• 도메인 내 영상 프레임의 2%만으로도 성능 향상이 유지되어 뛰어난 샘플 효율성 확보.
• 이미지 애너테이션이 영상 데이터와 다른 도메인에서 유래하더라도 효과적으로 일반화됨을 확인, 성능 향상 관찰.
• 프레임-클립 일치성 손실이 성능 향상에 핵심적임을 입증하였으며, 제거 시 정확도가 4.1% 감소하는 아블레이션 연구 결과 확인.
• 이미지 HAOG 애너테이션 기반으로 훈련된 객체 프롬프트가 영상으로 효과적으로 전이되어 추가적인 검출기나 기반 지정 없이도 정확한 영상 수준 예측 가능.