[논문 리뷰] Look into Person: Joint Body Parsing & Pose Estimation Network and A New Benchmark

Xiaodan Liang, Ke Gong외 2명|arXiv (Cornell University)|2018. 04. 05.

Human Pose and Action Recognition참고 문헌 45인용 수 11

한 줄 요약

이 논문은 19개의 의미적 신체 부위와 16개의 관절을 포함한 50,462장의 이미지로 구성된 대규모 데이터셋인 Look into Person (LIP) 벤치마크를 소개하며, 다중 척도 특징과 반복 보정을 통해 구조적 사전 지식을 활용하는 동시 인간 파싱 및 자세 추정 네트워크(JPPNet)를 제안한다. 이는 두 작업을 동시에 향상시키며, 최신 기술 수준의 성능을 달성하고, 겹침 및 복잡한 자세에 대한 일반화 능력과 강인성도 향상시킨다.

ABSTRACT

Human parsing and pose estimation have recently received considerable interest due to their substantial application potentials. However, the existing datasets have limited numbers of images and annotations and lack a variety of human appearances and coverage of challenging cases in unconstrained environments. In this paper, we introduce a new benchmark named "Look into Person (LIP)" that provides a significant advancement in terms of scalability, diversity, and difficulty, which are crucial for future developments in human-centric analysis. This comprehensive dataset contains over 50,000 elaborately annotated images with 19 semantic part labels and 16 body joints, which are captured from a broad range of viewpoints, occlusions, and background complexities. Using these rich annotations, we perform detailed analyses of the leading human parsing and pose estimation approaches, thereby obtaining insights into the successes and failures of these methods. To further explore and take advantage of the semantic correlation of these two tasks, we propose a novel joint human parsing and pose estimation network to explore efficient context modeling, which can simultaneously predict parsing and pose with extremely high quality. Furthermore, we simplify the network to solve human parsing by exploring a novel self-supervised structure-sensitive learning approach, which imposes human pose structures into the parsing results without resorting to extra supervision. The dataset, code and models are available at http://www.sysu-hcp.net/lip/.

연구 동기 및 목표

• 비구속 환경에서 동시 인간 파싱 및 자세 추정을 위한 대규모, 다양한, 도전적인 데이터셋의 부족을 해결하기 위해.
• 파싱과 자세 추정 간의 내재된 상관관계를 활용하는 통합된 딥 러닝 프레임워크를 개발하여 성능을 향상시키기 위해.
• 과적합 방지를 위해 비공개 테스트 세트를 제공하고, 향후 방법의 공정한 평가를 가능하게 하기 위해 공개 벤치마크를 제공하기 위해.
• 자세 추정에서 유도된 구조적 사전 지식이 모호하거나 가림이 있는 경우 파싱 정확도를 어떻게 향상시킬 수 있는지 조사하기 위해.
• 추가적인 감독 없이도 자기지도 학습 기반의 구조 민감한 학습을 통해 파싱 성능을 향상시키고, 강인성과 일반화 능력을 향상시키기 위해.

제안 방법

• 19개의 의미적 파트와 16개의 신체 관절을 포함한 50,462장의 이미지로 구성된 새로운 대규모 벤치마크인 Look into Person (LIP)을 제안하며, 다양한 자세, 가림, 배경을 포함한다.
• 두 작업 간 공유된 특징을 사용하고, 다중 척도 컨볼루션 특징과 반복 보정을 활용하는 코arse-to-fine 전략을 적용한 동시 파싱 및 자세 추정 네트워크(JPPNet)를 도입한다.
• 추가적인 자세 애너테이션 없이도 인간 신체 관절의 구조를 파싱 예측에 강제 적용하는 자기지도 학습 기반의 구조 민감한 학습 모듈을 사용한다.
• 파싱과 자세 추정을 동시에 최적화하는 다중 작업 학습 프레임워크를 적용하여 상호 보완적 감독과 더 나은 맥락 모델링을 가능하게 한다.
• 예측의 공간 일관성을 향상시키기 위해 조건부 랜덤 필드(CRFs)와 스킵 연결을 적용한다.
• 비공개 테스트 세트를 포함한 공개 평가 서버를 도입하여 모델 성능 평가의 공정성과 신뢰성을 확보한다.

실험 결과

연구 질문

• RQ1 독립적인 학습 대비 동시 인간 파싱 및 자세 추정 학습이 성능 향상에 어떻게 기여하는가?
• RQ2 자세 추정에서 유도된 구조적 사전 지식이 모호하거나 가림이 있는 영역에서 파싱 정확도를 얼마나 향상시킬 수 있는가?
• RQ3 자기지도 학습 기반의 구조 민감한 학습이 추가적인 자세 애너테이션 없이도 효과적으로 파싱 성능을 향상시킬 수 있는가?
• RQ4 제안된 JPPNet 모델이 다양한 도전적인 비구속 환경에서 어떻게 일반화되는가?
• RQ5 다중 척도 특징과 반복 보정이 파싱 및 자세 추정 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 JPPNet는 LIP 파싱 벤치마크에서 총 정확도 86.48%, 평균 정확도 62.25%, 평균 IoU 51.36%를 달성하여 기존 방법들을 능가한다.
• 다중 척도 특징과 이중 단계 보정을 적용한 공동 모델은 기준 모델 대비 평균 IoU에서 1.8% 향상되어 파싱 성능을 향상시켰다.
• 반복 보정을 통해 자세 추정 성능이 크게 향상되었으며, MPII 테스트 세트에서 평균 관절 정확도가 1.6% 향상되었다.
• 관절 구조 정보를 활용하여 좌/우 팔/다리 혼동과 같은 모호한 레이블링 사례를 성공적으로 해결했다.
• 제거 실험을 통해 파싱과 자세 추정 모듈을 분리할 경우 성능이 열 劣화됨을 확인하여 공동 모델링의 유용성을 입증했다.
• 모델는 MPII 데이터셋으로도 잘 일반화되어 있으며, 실제 비구속 환경에서의 강건성과 높은 전이 능력을 보였다.