[논문 리뷰] DeepSkeleton: Skeleton Map for 3D Human Pose Regression

Qingfu Wan, Wei Zhang외 1명|arXiv (Cornell University)|2017. 11. 29.

Human Pose and Action Recognition참고 문헌 54인용 수 6

한 줄 요약

이 논문은 중간 특징에서 직접 3D 인간 자세 회귀를 가능하게 하는 새로운 스켈레톤 맵 표현인 DeepSkeleton을 소개한다. RGB 또는 3D 데이터 융합이 필요 없이, 디컨볼루션을 통해 다중 스케일 및 다중 코너 스켈레톤 맵을 생성함으로써 최신 기술 수준의 성능을 달성한다. Human3.6M에서 86.5 mm 평균 오차, MPII에서 PCKh@0.5 기준 74.8%의 성능을 기록하며, 스켈레톤 맵만으로도 깊이 모호성을 효과적으로 해결하고 직접 RGB 회귀를 능가함을 입증한다.

ABSTRACT

Despite recent success on 2D human pose estimation, 3D human pose estimation still remains an open problem. A key challenge is the ill-posed depth ambiguity nature. This paper presents a novel intermediate feature representation named skeleton map for regression. It distills structural context from irrelavant properties of RGB image e.g. illumination and texture. It is simple, clean and can be easily generated via deconvolution network. For the first time, we show that training regression network from skeleton map alone is capable of meeting the performance of state-of-theart 3D human pose estimation works. We further exploit the power of multiple 3D hypothesis generation to obtain reasonbale 3D pose in consistent with 2D pose detection. The effectiveness of our approach is validated on challenging in-the-wild dataset MPII and indoor dataset Human3.6M.

연구 동기 및 목표

• 중간 표현의 구조적 특성으로 깊이 모호성 문제를 해결하기 위해 압축된, 구조적인 중간 표현을 도입한다.
• RGB-3D 융합이나 3D 레이블 없이도 스켈레톤 맵에서 직접 3D 자세 회귀가 최신 기술 수준의 성능을 달성하거나 초월할 수 있음을 입증한다.
• 다중 스케일 및 다중 코너 스켈레톤 맵 생성을 통해 깊이 모호성을 해결하고, 암시적 데이터 증강을 가능하게 한다.
• 인간 신체 부위 분할, 2D 자세 추정, 3D 회귀를 하나의 프레임워크인 DeepSkeleton로 통합한다.
• 기본 스켈레톤 맵을 사용하여 스켈레톤 맵 기반 회귀의 성능 상한선을 설정한다.

제안 방법

• 텍스처나 조명 정보를 포함하지 않고 관절 연결 정보만 캡슐화하는 경량의 디컨볼루션 기반 중간 특징인 스켈레톤 맵을 제안한다.
• 입력 이미지의 다중 스케일 및 다중 코너 증강을 통해 다수의 스켈레톤 맵을 생성함으로써 다중 가설 기반 회귀를 가능하게 한다.
• RGB 이미지에서 스켈레톤 맵을 생성하기 위해 디컨볼루션 네트워크를 사용하여 구조적 정보와 가림을 고려한 정보를 유지한다.
• 스켈레톤 맵에서 직접 3D 관절 좌표를 예측하기 위해 단일 회귀 헤드를 사용하여 복잡한 최적화 또는 2D에서 3D로의 리프팅 단계를 회피한다.
• 다양한 의미적 특징을 생성하기 위해 다중 스케일 및 다중 코너 전략을 적용하여, 가림 및 시점 변화에 대한 강건성을 향상시킨다.
• 분할, 2D 자세 검출, 3D 회귀를 하나의 통합 프레임워크인 DeepSkeleton으로 통합한다.

실험 결과

연구 질문

• RQ1 RGB-3D 융합 없이도 스켈레톤 맵 표현만으로 3D 인간 자세 추정을 효과적으로 수행할 수 있는가?
• RQ2 다양한 스켈레톤 맵에서 유도된 다중 가설 생성이 어려운 실외 데이터셋에서 성능 향상에 기여하는가?
• RQ3 스켈레톤 맵 기반 회귀 성능가 장기적인 RGB 이미지에서의 직접 회귀 성능와 비교해 볼 때 어떻게 되는가?
• RQ4 기본 스켈레톤 맵을 사용할 경우 스켈레톤 맵 표현의 성능 상한선은 어느 정도인가?
• RQ5 스켈레톤 맵만으로도 3D 자세 추정에서 깊이 모호성 문제를 해결할 수 있는가?

주요 결과

• 단일 예측 스켈레톤 맵에서의 직접 회귀는 MPII에서 PCKh@0.5를 RGB 기준 61.8%에서 71.2%로 향상시켜 상대적 개선률 9.4%를 기록한다.
• 다중 스케일 및 다중 코너 스켈레톤 맵을 사용할 경우 MPII에서 PCKh@0.5는 74.8%로 상승하여 다중 가설 생성의 뚜렷한 성과를 입증한다.
• 다중 스케일 및 다중 코너 맵을 통합할 경우 발목 PCKh@0.5가 16.4% 향상되었으며(상대적 24.2%), 가림 및 스케일 변화에 대한 강건성이 높아짐을 시사한다.
• 기본 스켈레톤 맵에서의 회귀는 MPII에서 평균 PCKh@0.5 94.5%를 기록하여 스켈레톤 맵 표현이 매우 효과적임을 입증하고, 예측 성능과의 격차가 미미함을 보여준다.
• Human3.6M에서 86.5 mm 평균 관절 오차를 기록하며, 3D 레이블이나 후처리 없이도 최신 기술 수준의 회귀 기반 3D 자세 추정 방법과 동등한 성능을 달성한다.
• 단일 스켈레톤 맵에서의 다중 회귀 앙상블은 다중 가설 시스템에 비해 성능이 열 劣함을 입증하며, 다중 수준의 스켈레톤 맵이 단순한 모델 평균화를 넘어서 다양한 의미적 특징을 포착함을 보여준다.