[논문 리뷰] Pose-conditioned Spatio-Temporal Attention for Human Action Recognition

Fabien Baradel, Christian Wolf외 1명|arXiv (Cornell University)|2017. 03. 29.

Human Pose and Action Recognition참고 문헌 51인용 수 73

한 줄 요약

이 논문은 자세 기반 CNN과 자세 조건이 있는 시공-시간 주의 메커니즘을 RGB 비디오에 적용하여 NTU-RGB+D 및 SBU Kinect Interaction에서 최첨단 성능을 달성하고, 더 작은 데이터셋으로의 지식 이전을 이룬다.

ABSTRACT

We address human action recognition from multi-modal video data involving articulated pose and RGB frames and propose a two-stream approach. The pose stream is processed with a convolutional model taking as input a 3D tensor holding data from a sub-sequence. A specific joint ordering, which respects the topology of the human body, ensures that different convolutional layers correspond to meaningful levels of abstraction. The raw RGB stream is handled by a spatio-temporal soft-attention mechanism conditioned on features from the pose network. An LSTM network receives input from a set of image locations at each instant. A trainable glimpse sensor extracts features on a set of predefined locations specified by the pose stream, namely the 4 hands of the two people involved in the activity. Appearance features give important cues on hand motion and on objects held in each hand. We show that it is of high interest to shift the attention to different hands at different time steps depending on the activity itself. Finally a temporal attention mechanism learns how to fuse LSTM features over time. We evaluate the method on 3 datasets. State-of-the-art results are achieved on the largest dataset for human activity recognition, namely NTU-RGB+D, as well as on the SBU Kinect Interaction dataset. Performance close to state-of-the-art is achieved on the smaller MSR Daily Activity 3D dataset.

연구 동기 및 목표

• 다중 모달 데이터(관절 자세와 RGB 프레임)를 활용한 정확한 행동 인식의 동기 부여.
• 자세를 활용해 RGB 주의를 안내하는 자세 인식 이중 스트림 아키텍처를 개발.
• 시간에 따른 컨볼루션 표현으로 포즈 정보를 인코딩한다.
• 적응형 시간 풀링을 사용해 시간 정보를 효과적으로 융합한다.
• 큰 데이터셋에서 작은 벤치마크로의 학습 표현 이전(지식 이전)을 입증한다.

제안 방법

• 포즈 데이터를 CNN 처리에 적합한 위상 정보를 갖춘 관절 순서대로 구성된 3D 텐서로 인코딩한다.
• 포즈 서브시퀀스에서 계층적 포즈 특징을 추출하기 위해 포즈 전용 CNN을 사용한다.
• 포즈 특징에 조건화된 RGB 프레임에 공간 주의 메커니즘을 구현하고, 네 손에 초점을 맞춘 학습 가능한 글림스 센서를 사용한다.
• 글림스 출력은 LSTM으로 처리하고, 각 시간 스텝마다 손 간 주의 기반 융합을 통합한다.
• 시간에 따라 LSTM 특징을 적응적으로 풀링하기 위한 시간 주의 메커니즘을 적용한다.
• 로그릿 수준에서 포즈 스트림과 RGB 스트림을 융합하고 엔드 투 엔드로 학습한다( RGB 스트림 학습 중 일부 구성요소는 고정).

실험 결과

연구 질문

• RQ1 포즈 구동 특징이 주의 메커니즘을 통해 RGB 비디오와 결합될 때 행동 인식을 향상시킬 수 있는가?
• RQ2 RGB 공간 주의력을 포즈 특징에 조건화하면 손과 조작 물체와 같은 유의미한 영역에 모델의 주의를 집중시키는 데 도움이 되는가?
• RQ3 시간 주의가 시간에 걸친 특징 융합을 효과적으로 수행하여 정확도를 높일 수 있는가?
• RQ4 큰 데이터셋(NTU)에서 작은 데이터셋(MSR Daily Activity 3D, SBU Kinect Interaction)으로의 지식 이전이 이익이 있는가?
• RQ5 관절 순서와 포즈 표현이 인식 성능에 어떤 영향을 미치는가?

주요 결과

• NTU RGB+D에서 포즈 전용 및 포즈+RGB 모델 모두에서 최첨단 성능을 달성했다.
• 전체 모델로 SBU Kinect Interaction 데이터셋에서 최첨단 성능을 달성했다.
• MSR Daily Activity 3D에서의 성능은 경쟁적이나, 매우 작은 데이터셋의 한계를 보여준다.
• 탑-토폴로지적(neighborhood-preserving) 순서를 가진 관절 정렬이 임의 정렬보다 NTU에서 >1 퍼센트 포인트의 향상을 가져왔다.
• 포즈 조건부 공간 주의가 RGB 전용 성능을 크게 향상시키며, RGB 전용 설정에서의 이득이 다중 모달 설정보다 더 큼(약 1–12 포인트 차이).
• NTU에서 MSR 및 SBU로의 지식 이전이 작은 데이터셋에서 의미 있는 개선을 가능하게 한다.