[논문 리뷰] Pose from Action: Unsupervised Learning of Pose Features based on Motion

Senthil Purushwalkam, Abhinav Gupta|arXiv (Cornell University)|2016. 09. 18.

Human Pose and Action Recognition참고 문헌 33인용 수 15

한 줄 요약

이 논문은 인간 동작 영상에서 운동을 감독 신호로 활용하여 자율적으로 포즈 인식 시각 특징을 학습하는 비지도 학습 방법을 제안한다. 공면과 운동 스트림을 공유하는 트리플릿 네트워크를 사용하여, 프레임 간 운동 전이를 예측함으로써 CNN이 포즈 특징을 인코딩하도록 훈련시키며, 인간 레이블이 없는 상태에서 포즈 추정 및 행동 인식 작업에 미세조정했을 때 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Human actions are comprised of a sequence of poses. This makes videos of humans a rich and dense source of human poses. We propose an unsupervised method to learn pose features from videos that exploits a signal which is complementary to appearance and can be used as supervision: motion. The key idea is that humans go through poses in a predictable manner while performing actions. Hence, given two poses, it should be possible to model the motion that caused the change between them. We represent each of the poses as a feature in a CNN (Appearance ConvNet) and generate a motion encoding from optical flow maps using a separate CNN (Motion ConvNet). The data for this task is automatically generated allowing us to train without human supervision. We demonstrate the strength of the learned representation by finetuning the trained model for Pose Estimation on the FLIC dataset, for static image action recognition on PASCAL and for action recognition in videos on UCF101 and HMDB51.

연구 동기 및 목표

• 시각 표현 학습에서 수동 레이블링의 한계를 해결하기 위해 비디오의 운동을 자기 감독 신호로 활용하는 것.
• 포즈 간 예측 가능한 운동 패턴을 모델링하여 인간 레이블이 없는 상태에서 포즈 인식 시각 특징을 학습하는 것.
• 운동 기반 감독이 포즈 추정 및 행동 인식과 같은 후행 작업을 위한 매우 이식 가능한 외관 표현을 제공함을 보여주는 것.
• 특히 인간 행동에 적합한 비디오 데이터로부터 포즈 인코딩 특징을 학습하는 일반적인 프레임워크를 제공하는 것.

제안 방법

• 이 방법은 공면과 운동 스트림에 공통된 가중치를 갖는 트리플릿 시아모이스 네트워크를 사용하며, 두 스트림은 각각 첫 번째 및 n번째 프레임을 처리하고, 세 번째 스트림은 그 사이의 광학 흐름을 처리한다.
• 공면 특징은 RGB 프레임에 적용된 CNN(공면 ConvNet)을 통해 추출되고, 운동 특징은 별도의 CNN(운동 ConvNet)을 통해 광학 흐름 맵에서 추출된다.
• 삼중체 손실을 사용하여 두 프레임 간 운동이 공면 변화와 일치하는지 분류하도록 네트워크를 훈련시키며, 이는 유사한 포즈가 유사한 운동 패턴을 가져야 하도록 유도한다.
• 운동 감독은 비디오 시퀀스에서 자동으로 유도되며, 인간 레이블이 붙은 포즈나 행동 레이블이 필요로 하지 않는다.
• 모델은 대규모 행동 영상에서 사전 훈련을 하고, 포즈 추정 및 행동 인식과 같은 후행 작업에 대해 미세조정한다.
• 행동 인식에서 성공한 이중 스트림 네트워크의 성공을 영감으로 삼아, 공면과 운동 표현을 함께 학습하기 위해 이중 스트림 아키텍처를 사용한다.

실험 결과

연구 질문

• RQ1 비디오의 운동 패턴이 포즈 인식 시각 표현을 학습하는 데 강력하고 자기 감독적인 신호로 기능할 수 있는가?
• RQ2 프레임 간 운동 전이에 기반한 비지도 학습 접근법이 랜덤 초기화보다 더 이식 가능한 외관 특징을 제공하는가?
• RQ3 운동 기반 감독이 인간 레이블이 없는 상태에서 포즈 추정 및 행동 인식 작업의 성능을 향상시킬 수 있는가?
• RQ4 운동 기반 사전 훈련이 표준 벤치마크에서 다른 자기 감독 비디오 기반 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• 미세조정 시 UCF101에서 55.4%의 정확도와 HMDB51에서 23.6%의 정확도를 기록하며, 랜덤 초기화보다 유의미하게 뛰어난 성능(각각 42.5% 및 15.1%)을 보였다.
• 50개의 훈련 이미지만 있는 PASCAL VOC 정적 이미지 행동 분류 작업에서 22.7%의 정확도를 기록하여 이전 최고 성능 방법보다 2.5% 향상되었다.
• 마지막 두 개의 완전 연결 계층만 미세조정했을 때 HMDB51에서 19.1%의 정확도와 UCF101에서 41.4%의 정확도를 기록하여 학습된 특징의 강력한 이식 가능성을 보여주었다.
• 모델은 평가된 모든 벤치마크에서 [11]을 포함한 다른 비디오 기반 비지도 학습 방법보다 뛰어난 성능을 보이며, 운동이 감독 신호로서의 효과를 입증했다.
• 결과는 포즈 간 운동 패턴이 비지도 방식으로 포즈 인코딩 시각 특징을 학습하는 데 신뢰할 수 있고 강력한 신호임을 확인시켰다.