[논문 리뷰] Learning Human Pose Models from Synthesized Data for Robust RGB-D Action Recognition

Jian Liu, Naveed Akhtar외 1명|arXiv (Cornell University)|2017. 07. 04.

Human Pose and Action Recognition참고 문헌 62인용 수 7

한 줄 요약

이 논문은 3D 인간 모델, GAN을 사용해 실사 이미지 분포와 유사하게 만든 합성 RGB-D 데이터를 활용하여 시점 및 외관에 강인한 인간 자세 표현을 학습하는 인간 자세 모델(HPM)을 제안한다. 또한 CNN을 통해 불변 특징을 추출하고, 시간적 모델링을 위해 푸리에 시간 피라미드를 사용한다. 이 방법은 대규모이고 다양한 합성 훈련 데이터와 함께 사용함으로써, 시점 간 및 개인 간 RGB-D 행동 인식 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

We propose Human Pose Models that represent RGB and depth images of human poses independent of clothing textures, backgrounds, lighting conditions, body shapes and camera viewpoints. Learning such universal models requires training images where all factors are varied for every human pose. Capturing such data is prohibitively expensive. Therefore, we develop a framework for synthesizing the training data. First, we learn representative human poses from a large corpus of real motion captured human skeleton data. Next, we fit synthetic 3D humans with different body shapes to each pose and render each from 180 camera viewpoints while randomly varying the clothing textures, background and lighting. Generative Adversarial Networks are employed to minimize the gap between synthetic and real image distributions. CNN models are then learned that transfer human poses to a shared high-level invariant space. The learned CNN models are then used as invariant feature extractors from real RGB and depth frames of human action videos and the temporal variations are modelled by Fourier Temporal Pyramid. Finally, linear SVM is used for classification. Experiments on three benchmark cross-view human action datasets show that our algorithm outperforms existing methods by significant margins for RGB only and RGB-D action recognition.

연구 동기 및 목표

• 시점, 조도, 의복, 배경 등의 어려운 변형 조건 하에서도 인간 행동 인식의 강인성을 확보하기 위해.
• 행동에 영향을 주지 않는 인적 요소를 고려한 대규모이고 다양한 합성 RGB-D 훈련 데이터를 생성하기 위한 확장 가능한 방법을 개발하기 위해.
• 딥 컨volution 네트워크를 사용하여 시점, 체형, 질감, 조도에 강인한 인간 자세 표현을 학습하기 위해.
• 불변 자세 특징의 시간적 동역학을 모델링하기 위해 푸리에 시간 피라미드를 사용하여 행동 분류 성능을 향상시키기 위해.
• 합성 데이터와 불변 특징 학습의 효과를 RGB-D 행동 인식 벤치마크 데이터셋에서 입증하기 위해.

제안 방법

• CMU MoCap 데이터베이스에서 캡처된 뼈대 데이터의 운동을 군집화하여 대표적인 인간 자세를 추출한다.
• 다양한 체형을 가진 합성 3D 인간 모델을 각 자세에 맞추고, 랜덤으로 설정된 의복, 배경, 조명 조건 하에 180개의 카메라 시점에서 렌더링한다.
• 실사 및 합성 RGB 및 깊이 이미지 간의 분포 격차를 최소화하기 위해 생성적 적대적 네트워크(GAN)를 훈련시킨다.
• 입력 RGB 및 깊이 이미지를 공통의 고수준 불변 자세 공간으로 매핑하기 위해 컨volution 네트워크(CNN)를 훈련시키며, 최종 소프트맥스 레이어 이전의 특징을 자세 표현으로 사용한다.
• 불변 자세 특징의 시간적 변동성을 푸리에 시간 피라미드를 사용하여 모델링하여 행동 역학을 포착한다.
• 시간 특징 시퀀스에 대해 선형 SVM을 사용하여 최종 행동 분류를 수행한다.

실험 결과

연구 질문

• RQ1 합성 데이터 생성이 시점, 의복, 조명 등의 다양한 자세 변형을 효과적으로 모델링하여 행동 인식의 강인성을 향상시킬 수 있는가?
• RQ2 GAN이 실사와 합성 RGB-D 이미지 간의 도메인 갭을 어느 정도 해소하여 불변 자세 모델 훈련에 기여하는가?
• RQ3 합성 데이터로 훈련된 CNN 기반 인간 자세 모델이 다른 카메라 시점과 개인 간에서 얼마나 잘 일반화되는가?
• RQ4 불변 자세 특징과 푸리에 시간 피라미드의 조합이 시점 간 및 개인 간 벤치마크에서 행동 인식 성능을 향상시키는가?
• RQ5 합성 데이터가 기존 모델(C3D 및 LRCN)의 성능을 크게 향상시킬 수 있는가? 특히 대규모 실사 데이터로 사전 훈련된 경우에도 마찬가지인가?

주요 결과

• 제안된 방법은 세 가지 벤치마크 시점 간 RGB-D 행동 인식 데이터셋에서 기존 최신 기술 수준(SOTA) 방법들을 능가하며, 뚜렷한 정확도 향상을 달성한다.
• UCF-101 인간 신체 운동 서브셋에서 HPM 모델은 합성 훈련 데이터를 두 배로 늘린 상태에서 84.6%의 정확도를 기록했으며, C3D의 84.8% 성능에 근접했고, 백만 개 이상의 영상 대비 수십만 프레임만 사용한 점을 감안하면 놀라운 성능이다.
• HPM 모델의 크기는 C3D보다 약 7배 작으며, 높은 파라미터 효율성과 뛰어난 성능을 동시에 확보했다.
• 합성 데이터의 사용은 대규모 실사 데이터로 사전 훈련된 C3D 및 LRCN의 성능을 향상시켰으며, 제어된 다양성 있는 데이터 증강의 가치를 입증한다.
• 푸리에 시간 피라미드가 불변 자세 특징의 시간적 동역학을 효과적으로 모델링하여 강인한 행동 분류에 기여했다.
• GAN 기반의 합성 이미지 정제가 실사 데이터와의 현실성과 분포 유사도를 크게 향상시켜, 후속 모델의 일반화 능력을 향상시켰다.