[논문 리뷰] An Integral Pose Regression System for the ECCV2018 PoseTrack Challenge

Xiao Sun, Chuankang Li외 1명|arXiv (Cornell University)|2018. 09. 17.

Human Pose and Action Recognition참고 문헌 9인용 수 9

한 줄 요약

이 논문은 ECCV2018 포즈트랙 챌린지에서 3D 인간 포즈 추정을 위한 통합 포즈 회귀 시스템을 제안한다. 이는 사람 박스 검출과 카메라 투영 모델링을 통한 이중 단계 상향식 프레임워크를 활용한다. 외부 2D 포즈 데이터(MPII, COCO)를 통합하고, 엔드 투 엔드로 미분 가능한 통합 회귀를 사용함으로써, CHALL_H80K 테스트 세트에서 47mm MPJPE를 달성하여 챌린지에서 2위를 기록한다.

ABSTRACT

For the ECCV 2018 PoseTrack Challenge, we present a 3D human pose estimation system based mainly on the integral human pose regression method. We show a comprehensive ablation study to examine the key performance factors of the proposed system. Our system obtains 47mm MPJPE on the CHALL_H80K test dataset, placing second in the ECCV2018 3D human pose estimation challenge. Code will be released to facilitate future work.

연구 동기 및 목표

• 단일 RGB 영상에서 제어된 환경에서 강력한 3D 인간 포즈 추정 시스템을 개발하기 위해.
• 학습 과정에 외부 2D 포즈 데이터셋(MPII, COCO)을 통합하여 성능을 향상시키기 위해.
• 엔드 투 엔드 3D 관절 예측을 위한 통합 회귀 방법의 효과성을 조사하기 위해.
• 데이터 증강, 모델 아키텍처의 깊이, 추론 전략이 MPJPE에 미치는 영향을 평가하기 위해.
• 챌린지의 제약 조건 내에서 Human3.6M의 CHALL_H80K 서브셋에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• COO 객체 검출 데이터로 훈련된 검출기로 사람 바운딩 박스를 먼저 검출하는 이중 단계 상향식 접근 방식을 사용한다.
• 검출된 박스를 사용하여 영상을 자르고 크기를 조정하여 CNN의 입력으로 사용할 정규화된 국소 패치를 생성한다.
• 훈련 중 감독을 위해 3D 진짜값을 2D 이미지 좌표로 투영하기 위해 약한 투영 카메라 모델을 사용한다.
• argmax 후처리를 대체하기 위해 통합 회귀를 적용하여, 미분 가능한 연산을 통해 엔드 투 엔드 학습과 연속적인 출력을 가능하게 한다.
• MPII 및 COCO 데이터셋의 2D 감독과 CHALL_H80K의 3D 감독을 사용하여 혼합 2D/3D 데이터로 모델을 훈련한다.
• 일반화를 향상시키기 위해 무작위 이동, 스케일, 회전, 뒤집기 등의 데이터 증강을 구현한다.

실험 결과

연구 질문

• RQ1 외부 2D 포즈 데이터(MPII, COCO)의 통합이 CHALL_H80K에서의 3D 포즈 추정 성능에 어떤 영향을 미치는가?
• RQ2 상향식 3D 포즈 추정 파이프라인에서 사람 박스 검출의 기여도는 무엇인가?
• RQ3 모델의 깊이(ResNet-50 대비 ResNet-152)와 입력 해상도가 최종 성능에 어떤 영향을 미치는가?
• RQ4 테스트 시간 데이터 증강(플립 테스트)과 모델 앙상블이 MPJPE에 미치는 영향은 무엇인가?
• RQ5 예측된 3D 좌표를 스케일링하는 데 사용하는 평균 뼈 길이의 선택이 최종 성능에 얼마나 민감한가?

주요 결과

• 사람 박스 검출의 추가로 MPJPE가 115.9mm에서 86.5mm로 감소하여 상대적 향상률 25.4%를 기록했다.
• MPII 2D 포즈 데이터를 혼합 2D/3D 학습에 통합함으로써 MPJPE가 86.5mm에서 62.2mm로 감소하여 상대적 향상률 28.1%를 기록했다.
• 더 깊은 ResNet-152 백본을 사용함으로써 ResNet-50 대비 MPJPE가 1.6% 상대적으로 감소하여 62.2mm에서 61.2mm로 향상되었다.
• 입력 해상도를 256×256에서 288×384로 증가시킴으로써 MPJPE가 4.4% 상대적으로 감소하여 61.2mm에서 58.5mm로 향상되었다.
• 플립 테스트와 모델 앙상블은 각각 MPJPE를 1.0%와 2.8% 감소시켜 검증 세트에서 55.3mm를 달성했다.
• 최종 시스템은 CHALL_H80K 테스트 세트에서 47mm MPJPE를 달성하여 ECCV2018 3D 인간 포즈 추정 챌린지에서 2위를 기록했다.