[논문 리뷰] How Robust is 3D Human Pose Estimation to Occlusion?

István Sárándi, Timm Linder외 2명|arXiv (Cornell University)|2018. 08. 28.

Human Pose and Action Recognition참고 문헌 25인용 수 49

한 줄 요약

논문은 단일 RGB 이미지로부터 3D 인간 자세 추정을 위한 테스트 시 오클루전(가림) 효과를 체계적으로 연구하고, 최첨단 모델이 가림에 취약하나 학습 중 가림 데이터 증강이 강건성 및 비가림 성능까지 향상시킨다는 점을 보인다.

ABSTRACT

Occlusion is commonplace in realistic human-robot shared environments, yet its effects are not considered in standard 3D human pose estimation benchmarks. This leaves the question open: how robust are state-of-the-art 3D pose estimation methods against partial occlusions? We study several types of synthetic occlusions over the Human3.6M dataset and find a method with state-of-the-art benchmark performance to be sensitive even to low amounts of occlusion. Addressing this issue is key to progress in applications such as collaborative and service robotics. We take a first step in this direction by improving occlusion-robustness through training data augmentation with synthetic occlusions. This also turns out to be an effective regularizer that is beneficial even for non-occluded test cases.

연구 동기 및 목표

• Synthetic occlusions가 Human3.6M에서 3D 자세 추정 정확도에 어떤 영향을 미치는지 평가한다.
• 다양한 가림 유형과 정도에서의 기준선 최첨단 방법을 평가한다.
• 가림-증강 학습이 가림에 대한 강건성을 개선하는 방법으로 작용하는지 조사한다.

제안 방법

• ResNet-50 백본을 가진 완전 합성곱 신경망을 사용하여 체적 관절 열지도(heatmap)를 예측한다.
• 볼륨형 열지도를 통한 소프트-아그맥스(soft-argmax)로 3D 관절 좌표를 예측하고 카메라 공간으로 재투영한다.
• 루트 깊이 증강 없이 MPJPE를 평가하고 비교를 위한 오라클 루트 깊이 옵션을 함께 평가한다.
• 테스트 시 가림 시나리오를 시뮬레이션하기 위해 합성 가림(원형, 직사각형, 막대, VOC 객체)을 도입한다.
• 여러 가지 스킴(단일 직사각형, 다중 기하학적 도형, VOC 객체 패치, 혼합 전략)을 사용한 가림 증강으로 학습한다.
• 가림에 대한 강건성 및 정규화 효과를 평가하고 Titan X GPU에서 런타임 성능을 보고한다.

실험 결과

연구 질문

• RQ1 테스트 시 합성 가림이 Human3.6M에서 최첨단 3D 자세 방법의 MPJPE에 어떤 영향을 미치는가?
• RQ2 가림 유형 중 어떤 것이 자세 추정 오차를 가장 크게 악화시키는가?
• RQ3 훈련 중 가림 인지 데이터 증강이 다양한 가림 차종에 대해 강건성을 향상시킬 수 있는가?
• RQ4 가림 증강이 비가림 테스트 이미지의 성능도 향상시키는가?
• RQ5 고프레임 속도 응용을 위한 제안 방법의 런타임 가능성은 어느 정도인가?

주요 결과

• 비가림 테스트 조건에서 3D 자세 추정기의 기준선 MPJPE가 최신 수준에 도달하여 Human3.6M에서 63.3 mm로(비교 가능한 방법에서 보고된 64.8 mm보다 더 좋음) 최첨단 성능을 보인다.
• 원형 가림이 테스트된 가림 형태 중 가장 큰 오차 증가를 유발한다.
• 직사각형은 원보다 문제가 덜하며, VOC 객체 차폐체는 가림 유형 전반에 걸쳐 강건성을 일반화한다.
• 가림 증강 전략(특히 VOC 객체 증강 및 혼합 전략)은 모든 테스트 유형에서 가림 하 MPJPE를 감소시킨다.
• 가림 증강은 비가림 테스트 데이터의 성능도 향상시키며(정규화 효과)
• 결합된 가림-증강 전략은 테스트된 가림 유형 전반에서 견고한 향상을 제공하고 추론 속도도 유지된다(배치 크기 64에서 최대 204 fps까지).