[논문 리뷰] TubeR: Tube-Transformer for Action Detection.

Jiaojiao Zhao, Xinyu Li외 5명|arXiv (Cornell University)|2021. 04. 02.

Human Pose and Action Recognition참고 문헌 40인용 수 11

한 줄 요약

TubeR는 수작업으로 설계된 튜브 제안 없이도 영구적이고 가변 길이의 액션 튜브를 학습하는 새로운 트랜스포머 기반 아키텍처이다. 시간적 및 공간적 범위를 학습 가능한 튜브 쿼리와 액션 튜브 임베딩을 통해 모델링함으로써, UCF101-24와 J-HMDB에서 최신 기술 수준(SOTA) 성능을 달성하고 AVA에서 경쟁적인 결과를 보이며 장거리 영상 이해 분야에서 강력한 잠재력을 보여준다.

ABSTRACT

In this paper, we propose TubeR: the first transformer based network for end-to-end action detection, with an encoder and decoder optimized for modeling action tubes with variable lengths and aspect ratios. TubeR does not rely on hand-designed tube structures, automatically links predicted action boxes over time and learns a set of tube queries related to actions. By learning action tube embeddings, TubeR predicts more precise action tubes with flexible spatial and temporal extents. Our experiments demonstrate TubeR achieves state-of-the-art among single-stream methods on UCF101-24 and J-HMDB. TubeR outperforms existing one-model methods on AVA and is even competitive with the two-model methods. Moreover, we observe TubeR has the potential on tracking actors with different actions, which will foster future research in long-range video understanding.

연구 동기 및 목표

• 수작업으로 설계된 튜브 제안에 의존하지 않는 단일 스트림, 엔드 투 엔드 액션 탐지 프레임워크를 개발하는 것.
• 학습 가능한 어텐션 기반 아키텍처를 사용해 가변 길이 및 비율의 액션 튜브를 모델링하는 것.
• 트랜스포머 인코더-디코더 구조를 통해 액션 튜브 임베딩을 학습함으로써 공간적 및 시간적 정밀도를 향상시키는 것.
• 예측을 프레임 간에 연결하는 데 사용되는 튜브 쿼리를 학습함으로써 액션의 자동 시간 기반 정렬을 가능하게 하는 것.
• 모델이 장거리 영상 이해 및 한 명의 액터가 수행하는 다중 액션 추적에 어떻게 활용될 수 있는지 탐색하는 것.

제안 방법

• TubeR는 영상 클립을 처리하고 액션 튜브를 엔드 투 엔드로 예측하기 위해 설계된 트랜스포머 인코더-디코더 아키텍처를 사용한다.
• 영상 특징에 주목하는 학습 가능한 튜브 쿼리를 도입하여 다양한 공간적 및 시간적 범위를 가진 액션 튜브 예측을 생성한다.
• 공간적 바운딩 박스와 시간적 지속 시간을 모두 인코딩하는 액션 튜브 임베딩을 학습함으로써 영구적인 튜브 생성을 가능하게 한다.
• 디코더는 인코더 특징과 튜브 쿼리에 주목하여 멀티헤드 자기어텐션 및 크로스어텐션 메커니즘을 통해 예측을 개선한다.
• 영상 토큰에서 직접 액션 튜브를 예측함으로써 후처리 없이 공간적 및 시간적 정렬을 공동 최적화한다.
• 앵커 사전 정보 없이 가변 길이 출력을 가능하게 하기 위해 세트 예측 헤드를 사용한다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 아키텍처가 수작업으로 설계된 제안 없이도 가변 길이 및 비율의 액션 튜브를 학습할 수 있는가?
• RQ2 튜브 쿼리와 임베딩을 엔드 투 엔드로 학습함으로써 두 단계 또는 앵커 기반 방법에 비해 정렬 정확도가 어떻게 향상되는가?
• RQ3 단일 스트림 트랜스포머 모델이 표준 액션 탐지 벤치마크에서 최신 기술 수준 성능을 달성할 수 있는가?
• RQ4 모델이 장거리 영상 이해 및 한 명의 액터가 수행하는 다중 액션 추적에 일반화되는가?
• RQ5 학습된 튜브 쿼리가 프레임 간 액션 예측을 자동으로 시간적으로 연결할 수 있는가?

주요 결과

• TubeR는 UCF101-24와 J-HMDB에서 단일 스트림 방법 중 최신 기술 수준(SOTA) 성능을 달성하여 우수한 정렬 및 탐지 정확도를 보였다.
• AVA 벤치마크에서 TubeR은 기존의 단일 모델 방법을 초월하고 이중 모델 앙상블 방법과도 동등한 성능을 달성했다.
• 수작업으로 설계된 튜브 구조 없이도 엔드 투 엔드 학습을 통해 영구적인 공간적 및 시간적 범위를 가진 액션 튜브를 생성하는 데 성공했다.
• TubeR은 장기간의 영상 시퀀스에서 다수의 액션을 수행하는 액터를 추적하는 데 강력한 잠재력을 보이며, 장거리 영상 이해 분야에서 유망한 전망을 보인다.
• 학습 가능한 튜브 쿼리의 사용으로 액션 예측 간 시간적 일관성이 향상되어 자동으로 시간 기반 정렬이 가능해졌다.
• 아키텍처의 어텐션 메커니즘은 장거리 의존성을 효과적으로 모델링하여 다양한 영상 지속 시간 동안 안정적인 액션 튜브 예측을 지원한다.