[논문 리뷰] Learning to Refine Human Pose Estimation

Mihai Fieraru, Anna Khoreva외 2명|arXiv (Cornell University)|2018. 04. 21.

Human Pose and Action Recognition참고 문헌 40인용 수 9

한 줄 요약

이 논문은 공동 융합 및 좌우 혼동과 같은 일반적인 오류를 수정하기 위해 이미지 외관과 자세 구조를 동시에 모델링하는 후처리 네트워크인 PoseRefiner를 제안한다. 새로운 데이터 증강 기법을 활용하여 오류 수정에 성공적으로 적용함으로써, 여러 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, mAP는 최대 5.3점, mMOTA는 4.9점 향상시켰다.

ABSTRACT

Multi-person pose estimation in images and videos is an important yet challenging task with many applications. Despite the large improvements in human pose estimation enabled by the development of convolutional neural networks, there still exist a lot of difficult cases where even the state-of-the-art models fail to correctly localize all body joints. This motivates the need for an additional refinement step that addresses these challenging cases and can be easily applied on top of any existing method. In this work, we introduce a pose refinement network (PoseRefiner) which takes as input both the image and a given pose estimate and learns to directly predict a refined pose by jointly reasoning about the input-output space. In order for the network to learn to refine incorrect body joint predictions, we employ a novel data augmentation scheme for training, where we model "hard" human pose cases. We evaluate our approach on four popular large-scale pose estimation benchmarks such as MPII Single- and Multi-Person Pose Estimation, PoseTrack Pose Estimation, and PoseTrack Pose Tracking, and report systematic improvement over the state of the art.

연구 동기 및 목표

• 공동 융합, 좌우 혼동, 가림 등의 문제로 인해 최신 기술 수준의 모델들 역시 해결하지 못하는 다수의 인간 자세 추정 과제를 해결한다.
• 기존 자세 추정 방법의 아키텍처를 변경하지 않고도 적용 가능한 일반적인 목적의 개선 프레임워크를 개발한다.
• 밀집된 사람, 부분적인 가림, 희귀 자세 등의 어려운 케이스에서 성능을 향상시키기 위해, 공통적인 예측 오류를 명시적으로 보정하도록 모델을 훈련시킨다.
• 이미지와 자세 입력을 모두 활용하여 보다 정확하고 일관된 관절 위치를 생성하는 엔드 투 엔드, 피드포워드 방식의 개선을 가능하게 한다.

제안 방법

• RGB 이미지와 초기 자세 추정치를 입력으로 받는 완전 컨volutional ResNet 기반 아키텍처를 제안하며, 개선된 자세를 출력한다.
• 실제로 발생하는 오류(예: 관절 융합, 좌우 전환)를 시뮬레이션하기 위해 정답 자세를 변형시켜 어려운 자세 케이스를 합성하는 새로운 데이터 증강 기법을 설계한다.
• 개선된 예측치와 정답 간의 L2 손실을 최소화하도록 네트워크를 훈련시켜, 지도 학습을 통한 오류 보정 능력을 학습시킨다.
• 다수의 사람 상황에서는 각 사람별로 독립적으로 개선 네트워크를 적용하여 신원 유지 및 트래킹 파이프라인에의 적용 가능성을 확보한다.
• 단일 및 다수의 사람 자세 추정 및 트래킹 작업에 동일한 네트워크를 사용하여, 다양한 작업 간 일반화 능력을 입증한다.
• 재훈련 없이도 기존 자세 추정기와 호환 가능한 후처리 모듈로 개선 단계를 통합한다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 인간 자세 추정에서 발생하는 공동 융합 및 좌우 혼동과 같은 일반적인 실패 유형을 학습된 개선 네트워크가 효과적으로 보정할 수 있는가?
• RQ2 어려운 자세 케이스를 명시적으로 모델링하는 데이터 증강 기법이 개선 네트워크의 일반화 능력과 강건성에 기여하는가?
• RQ3 후처리 개선 모듈이 다양한 벤치마크와 작업에서 최신 기술 수준 성능을 얼마나 향상시킬 수 있는가?
• RQ4 예측하지 않는 관절(예: 코)이 누락된 모델에서 개선 네트워크가 이를 복구할 수 있으며, 이로 인해 전체 성능 향상이 이루어지는가?
• RQ5 이 개선 프레임워크는 다양한 자세 추정 및 트래킹 방법에 일반화 가능하며, 다수의 사람 상황에서 신원 일관성을 유지하는가?

주요 결과

• MPII 다수 인원 자세 추정 벤치마크에서 PoseRefiner는 최고 보고된 mAP를 71.9에서 73.8로 향상시켜 +1.9 mAP 향상.
• PoseTrack 다수 인원 자세 추적 벤치마크에서 ML_Lab 기반 모델에 적용했을 때 mMOTA가 48.6에서 53.5로 향상되어 +4.9 mMOTA 향상.
• 원래 코 관절을 생략하는 ArtTrack의 경우, 개선 과정을 통해 코 관절을 복구하고 mAP를 68.6에서 69.7로 향상시켜 +1.1 mAP 향상.
• BUTD 및 Detect-and-Track와 같은 최고 성능 모델을 포함한 모든 평가된 방법에서 일관되게 성능 향상이 이루어졌으며, 최대 +5.3 mAP 및 +5.3 mMOTA 향상.
• 추적 성능 향상이 뚜렷하게 나타나, 다양한 기반 모델에서 mMOTA가 2.4에서 3.9점 향상되어 시간적 일관성 향상의 효과를 입증.
• 정성적 결과를 통해 네트워크가 특히 혼잡하거나 가림이 있는 장면에서 관절 혼동 및 융합 문제를 효과적으로 해결하는 것으로 나타났다.