[논문 리뷰] Sim2real transfer learning for 3D pose estimation: motion to the rescue

Carl Doersch, Andrew Zisserman|arXiv (Cornell University)|2019. 07. 04.

Human Pose and Action Recognition참고 문헌 100인용 수 15

한 줄 요약

이 논문은 3D 인간 자세 추정에서 시뮬레이션에서 실제 데이터로의 전이 성능을 향상시키기 위해 합성 RGB 이미지에 사전 처리로 운동 신호—특히 광학 흐름과 2D 관절 흐름—을 사용하는 방법을 제안한다. SURREAL 데이터셋의 합성 데이터에서 운동 특징을 포함해 훈련한 모델은 도전적인 3D Poses in the Wild 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 훈련 중에 실제 세계의 3D 애너테이션을 사용하지 않았음에도 불구하고 실제 데이터로 훈련된 모델과 동일한 수준의 전면 3D 메시 복원 성능을 보였다.

ABSTRACT

Simulation is an anonymous, low-bias source of data where annotation can often be done automatically; however, for some tasks, current models trained on synthetic data generalize poorly to real data. The task of 3D human pose estimation is a particularly interesting example of this sim2real problem, because learning-based approaches perform reasonably well given real training data, yet labeled 3D poses are extremely difficult to obtain in the wild, limiting scalability. In this paper, we show that standard neural-network approaches, which perform poorly when trained on synthetic RGB images, can perform well when the data is pre-processed to extract cues about the person's motion, notably as optical flow and the motion of 2D keypoints. Therefore, our results suggest that motion can be a simple way to bridge a sim2real gap when video is available. We evaluate on the 3D Poses in the Wild dataset, the most challenging modern standard of 3D pose estimation, where we show full 3D mesh recovery that is on par with state-of-the-art methods trained on real 3D sequences, despite training only on synthetic humans from the SURREAL dataset.

연구 동기 및 목표

• 합성 데이터로 훈련된 모델이 실제 세계 데이터에서 성능이 떨어지는 3D 인간 자세 추정의 sim2real 일반화 갭을 해소하기 위해.
• 감독 학습 접근법의 확장성에 제약을 주는 실제 세계의 3D 레이블이 부족한 인간 자세 데이터의 부족 문제를 해결하기 위해.
• 비디오에서 추출한 운동 신호가 합성 데이터와 실제 데이터 분포 사이의 다리를 놓을 수 있는지 조사하기 위해.
• 실제 3D 애너테이션을 비용이 많이 들기 때문에 피하고, 합성 RGB 데이터에 운동 사전 처리만을 사용하여 고해상도 3D 메시 복원을 가능하게 하기 위해.

제안 방법

• SURREAL 데이터셋의 합성 RGB 비디오 프레임을 사전 처리하여 광학 흐름과 2D 관절 흐름 경로를 운동 특징으로 추출한다.
• 운동 특징을 추가 입력 채널로 간주하여, 표준 3D 자세 추정 네트워크에 운동 강화된 합성 데이터를 입력한다.
• 실제 3D 자세 애너테이션 없이, 운동 특징을 포함한 합성 데이터만으로 모델을 훈련시킨다.
• 운동 보강된 입력에서 전면 3D 인간 신체 메시를 예측하기 위해 표준 3D 메시 회귀 헤드를 사용한다.
• 운동 특징의 시간적 일관성을 활용하여 실제 비디오 시퀀스로의 일반화 성능을 향상시킨다.
• 실제 세계의 비디오 시퀀스에 3D 애너테이션이 포함된 3D Poses in the Wild 벤치마크에서 모델을 평가한다.

실험 결과

연구 질문

• RQ1 비디오에서 추출한 운동 신호가 3D 자세 추정에서 sim2real 전이 성능을 향상시킬 수 있는가?
• RQ2 광학 흐름과 2D 관절 운동을 사용해 합성 RGB 데이터를 사전 처리하면 실제 세계 데이터로의 일반화 성능이 향상되는가?
• RQ3 운동 특징을 포함한 합성 데이터만으로 훈련된 모델이 실제 3D 시퀀스로 훈련된 최신 기술 수준의 방법과 비교해 유사한 성능을 낼 수 있는가?
• RQ4 실제 3D 애너테이션이 없을 때 운동 기반 특징 엔지니어링이 sim2real 갭을 얼마나 효과적으로 메울 수 있는가?

주요 결과

• 제안된 방법은 훈련 시에 실제 세계의 3D 애너테이션을 전혀 사용하지 않았음에도 불구하고, 실제 3D 시퀀스로 훈련된 최신 기술 수준의 방법과 동일한 전면 3D 메시 복원 성능을 달성하였다.
• 광학 흐름과 2D 관절 운동을 사전 처리로 사용함으로써 시뮬레이션에서 실제 세계 데이터로의 일반화 성능이 크게 향상되었다.
• 원시 합성 RGB 이미지로 훈련된 표준 신경망과는 달리, 이 모델은 실제 데이터로의 일반화 성능이 뛰어나다.
• 운동 특징는 합성 데이터의 분포를 실제 비디오 데이터의 분포와 일치시키는 강력한 인덕티브 바이어스 역할을 한다.
• 이 방법은 도전적인 실제 세계 데이터셋인 3D Poses in the Wild 벤치마크에서 경쟁력 있는 성능을 달성하였다. 이 데이터셋은 제약이 없고 다양한 자세를 포함하고 있다.
• 이 방법은 운동 정보가 3D 인간 자세 추정에서 sim2real 문제를 해결하는 데 단순하면서도 매우 효과적인 솔루션임을 보여주었다.