[논문 리뷰] Seeing the Pose in the Pixels: Learning Pose-Aware Representations in Vision Transformers

Dominick Reilly, Aman Chadha외 1명|arXiv (Cornell University)|2023. 06. 15.

Human Pose and Action Recognition인용 수 4

한 줄 요약

이 논문은 비디오 이해를 위한 비전 트랜스포머(Vision Transformers)에서 자세 인식 표현을 학습하기 위해 두 가지 새로운 방법—자세 인식 어텐션 블록(Pose-aware Attention Block, PAAB)과 자세 인식 보조 과제(Pose-Aware Auxiliary Task, PAAT)—을 제안한다. 2D 자세 키포인트를 ViT 아키텍처에 통합함으로써, 두 방법 모두 행동 인식 및 다중 시점 비디오 정렬에서 성능을 향상시키며, PAAT는 일곱 개의 데이터셋에서 최신 기술 성능(SOTA)을 달성하여 기준 모델 대비 로봇 비디오 정렬에서 최대 21.8% 향상되고 실제 세계 행동 인식에서 최대 9.8% 향상된다.

ABSTRACT

Human perception of surroundings is often guided by the various poses present within the environment. Many computer vision tasks, such as human action recognition and robot imitation learning, rely on pose-based entities like human skeletons or robotic arms. However, conventional Vision Transformer (ViT) models uniformly process all patches, neglecting valuable pose priors in input videos. We argue that incorporating poses into RGB data is advantageous for learning fine-grained and viewpoint-agnostic representations. Consequently, we introduce two strategies for learning pose-aware representations in ViTs. The first method, called Pose-aware Attention Block (PAAB), is a plug-and-play ViT block that performs localized attention on pose regions within videos. The second method, dubbed Pose-Aware Auxiliary Task (PAAT), presents an auxiliary pose prediction task optimized jointly with the primary ViT task. Although their functionalities differ, both methods succeed in learning pose-aware representations, enhancing performance in multiple diverse downstream tasks. Our experiments, conducted across seven datasets, reveal the efficacy of both pose-aware methods on three video analysis tasks, with PAAT holding a slight edge over PAAB. Both PAAT and PAAB surpass their respective backbone Transformers by up to 9.8% in real-world action recognition and 21.8% in multi-view robotic video alignment. Code is available at https://github.com/dominickrei/PoseAwareVT.

연구 동기 및 목표

• 일상 생활 영상에서 미세한 시점 변화가 있는 행동을 처리하는 데 있어 기존 비전 트랜스포머의 한계를 해결하기 위해 자세 사전 지식을 통합함.
• 표준 ViT에서 균일한 패치 처리 방식이 인간 뼈대나 로봇 팔과 같은 자세 기반 엔티티를 간과하는 문제를 해결함.
• 깊이 센서나 복잡한 3D 자세 추정이 필요 없이 2D 자세 키포인트 정보를 ViT에 효율적이고 즉시 적용 가능한 방식으로 통합하는 방법 개발.
• 학습 중 자세 정보를 활용하여 시점에 영향을 받지 않는 세밀한 비디오 표현 학습을 가능하게 함.
• 행동 인식, 비디오 검색, 다중 시점 로봇 비디오 정렬과 같은 다양한 후행 작업에 대한 일반화 능력을 입증함.

제안 방법

• 2D 키포인트 히트맵을 통해 식별된 자세 관련 패치에 국소적 자기 어텐션을 적용하는 플러그 앤 플레이 ViT 블록인 자세 인식 어텐션 블록(PAAB)을 도입함.
• 학습 중 별도의 헤드가 2D 키포인트 위치를 예측하는 다중 과제 학습 전략인 자세 인식 보조 과제(PAAT)를 설계함. 이는 주 비디오 분류 또는 정렬 과제와 함께 최적화됨.
• MediaPipe와 같은 쉽게 이용 가능한 2D 자세 추정 모델을 활용하여 PAAB 및 PAAT에 정확하고 저비용의 키포인트 감독 정보를 제공함.
• 기존 ViT 아키텍처와 학습 파이프라인을 유지하면서 소수의 수정만을 가함: PAAB는 자세 인식 어텐션 메커니즘을 추가하거나, PAAT는 보조 손실을 추가함.
• 자세 감독을 패치 수준에서 적용하여, 자세 특징와 비자세 특징 간의 분리된 표현 학습이 가능하도록 보장함.
• 자기 회귀 분석 결과에 따르면 어텐션 분포의 변화가 최소이므로, 피드포워드 레이어를 통해 자세 인식 표현을 학습함을 확인함.

실험 결과

연구 질문

• RQ1 비전 트랜스포머에 2D 자세 키포인트 정보를 통합하면, 미세하거나 시점에 따라 변화하는 행동을 포함한 비디오 이해 과제에서 성능 향상이 이루어지는가?
• RQ2 ViT에 자세 사전 지식을 적용하면, 표준 ViT 대비 더 분리된 표현과 시점에 영향을 받지 않는 특징 표현이 이루어지는가?
• RQ3 어떤 정도까지 어텐션 메커니즘 또는 피드포워드 레이어가 ViT에서 자세 인식 표현 학습에 기여하는가?
• RQ4 자세 인식 ViT의 성능는 행동 인식 및 다중 시점 비디오 정렬과 같은 다양한 데이터셋과 후행 과제에 대해 얼마나 일반화되는가?
• RQ5 자기 회귀 분석 결과, PAAT와 같은 보조 과제 방식이 PAAB와 같은 아키텍처 수정 방식보다 자세 인식 특징 학습에 더 효과적인가?

주요 결과

• PAAT는 일곱 개의 데이터셋에서 최신 기술 성능(SOTA)을 달성하여, 기준 ViT 대비 다중 시점 로봇 비디오 정렬에서 최대 21.8% 향상되고 실제 세계 행동 인식에서 최대 9.8% 향상됨.
• PAAB과 PAAT 모두 특징 공간에서 자세 토큰과 비자세 토큰 간의 분리 가능성을 크게 향상시키며, PAAT는 키포인트 전용 예측 목표 덕분에 더 뛰어난 분리도를 보임.
• PAAB와 PAAT의 어텐션 분포는 기준 TimeSformer와 비교해 거의 변화가 없어, 자세 인식 표현은 주로 어텐션 메커니즘보다 피드포워드 레이어를 통해 학습됨을 시사함.
• PAAT는 초기 네트워크 레이어에서 더 높은 효과를 보이며, 자세 사전 지식이 초기 특징 추출 단계에서 가장 유익함을 시사함.
• PAAT는 주 ViT에 추가 파rameter나 추론 계산이 더 이상 필요 없어, 전용 어텐션 블록을 추가하는 PAAB보다 더 효율적임.
• 제안된 방법들은 행동 인식, 비디오 검색 등 다양한 과제와 데이터셋에 대해 잘 일반화되며, 비디오 검색을 위한 교차 데이터 평가에서도 성능을 입증하여 강건성과 이식 가능성 확인됨.