[논문 리뷰] Multi-Scale Structure-Aware Network for Human Pose Estimation

Lipeng Ke, Ming‐Ching Chang외 2명|arXiv (Cornell University)|2018. 03. 27.

Human Pose and Action Recognition참고 문헌 22인용 수 23

한 줄 요약

이 논문은 다중 척도 구조 인식 네트워크를 제안하여, 다중 척도 감시, 다중 척도 회귀, 구조 인식 손실, 키포인트 마스킹 학습을 통해 딥 아워글라스 모델을 향상시킨다. 이 방법은 MPII 벤치마크에서 최신 기술 수준의 성능을 달성하여 88.4%의 PCK h 점수를 기록하고, 다중 척도 추론 후처리가 필요 없이 척도 변동, 가림, 복잡한 다중 인물 시나리오를 효과적으로 다루며 MPII 챌린지 랭킹에서 선도한다.

ABSTRACT

We develop a robust multi-scale structure-aware neural network for human pose estimation. This method improves the recent deep conv-deconv hourglass models with four key improvements: (1) multi-scale supervision to strengthen contextual feature learning in matching body keypoints by combining feature heatmaps across scales, (2) multi-scale regression network at the end to globally optimize the structural matching of the multi-scale features, (3) structure-aware loss used in the intermediate supervision and at the regression to improve the matching of keypoints and respective neighbors to infer a higher-order matching configurations, and (4) a keypoint masking training scheme that can effectively fine-tune our network to robustly localize occluded keypoints via adjacent matches. Our method can effectively improve state-of-the-art pose estimation methods that suffer from difficulties in scale varieties, occlusions, and complex multi-person scenarios. This multi-scale supervision tightly integrates with the regression network to effectively (i) localize keypoints using the ensemble of multi-scale features, and (ii) infer global pose configuration by maximizing structural consistencies across multiple keypoints and scales. The keypoint masking training enhances these advantages to focus learning on hard occlusion samples. Our method achieves the leading position in the MPII challenge leaderboard among the state-of-the-art methods.

연구 동기 및 목표

• 디코볼루션 히에라르키에서 입력 척도 변동으로 인한 스케일 불안정성과 단일 척도에 대한 과적합 문제를 해결하기 위해, 다중 척도 감시를 통해 스케일 특징을 명시적으로 보조하는 것.
• 구조적 사전 지식을 통합하여 복잡한 시나리오에서 가림 및 다중 인물의 모호성으로 인한 키포인트 정렬 및 전반적인 자세 구성의 정확도를 향상시키기.
• 가려진 키포인트에 대한 강건성을 향상시키기 위해, 랜덤으로 실제 키포인트를 마스킹하여 학습하는 새로운 키포인트 마스킹 학습 기법을 도입하기.
• 기존 방법들과 달리 다중 척도 추론 후처리가 필요 없이도 일관되고 높은 정확도의 자세 추정을 달성하기.
• 다중 척도 감시 및 회귀를 구조 일관성 학습과 통합하여 스케일 간 및 신체 부위 간 특징 매칭을 향상시키기.

제안 방법

• 디코볼루션 레이어 각각에 계층별 손실 항목을 추가하여 다중 척도 감시를 구현함으로써, 디코볼루션 피라미드 전반에서 스케일 특징을 명시적으로 보조한다.
• 다중 척도 회귀 네트워크(MSR-net)를 도입하여 다중 스케일에서의 키포인트 히트맵을 융합함으로써 전반적인 자세 회귀 및 구조 일관성 최적화를 수행한다.
• 연결된 키포인트 간 상대적 공간 관계(예: 어깨-팔꿈치-손목)를 장려하는 구조 인식 손실을 설계하여 인간 신체의 구조적 위상학을 모델링한다.
• 학습 중에 실제 키포인트를 랜덤으로 마스킹하는 키포인트 마스킹 학습 기법을 적용하여, 네트워크가 맥락적 및 구조적 신호를 활용해 가려진 부분을 추론하도록 유도한다.
• 두 단계 파이프라인을 사용하여 전체 네트워크를 미세 조정함: 먼저 다중 척도 감시 네트워크(MSS-net)를 학습하고, 이후에 구조 인식 손실을 포함한 다중 척도 회귀 네트워크(MSR-net)를 학습한다.
• 잔차 아워글라스 아키텍처를 백본으로 사용하며, 스택 간 스킵 연결 및 스킵 연결을 통해 다중 척도 특징을 유지한다.

실험 결과

연구 질문

• RQ1 디코볼루션 레이어 전반에 걸친 다중 척도 감시가 자세 추정에서 특징 학습을 향상시키고 스케일 불안정성을 감소시키는가?
• RQ2 다양한 스케일의 특징을 융합하는 다중 척도 회귀 네트워크가 전반적인 자세 구성 및 키포인트 정렬 정확도를 향상시키는가?
• RQ3 키포인트 간 해부학적 관계를 모델링하는 구조 인식 손실이 가려짐 또는 모호한 상황에서 매칭 정확도를 향상시키는가?
• RQ4 학습 중 키포인트 마스킹이 가려짐 및 어려운 샘플에 대한 강건성을 얼마나 향상시키는가?
• RQ5 이러한 구성 요소들을 통합하여 MPII와 같은 기준 벤치마크에서 기존 최신 기술 수준의 방법을 능가할 수 있는가? 단, 다중 척도 추론이 필요하지 않다.

주요 결과

• 제안된 방법은 MPII 검증 세트에서 88.4%의 PCK h 점수를 기록하여 베이스라인 아워글라스 모델(87.1%)과 최신 기술 수준의 방법을 능가한다.
• 다중 척도 감시만으로도 성능이 87.1%에서 87.6% PCK h로 향상되어 다중 척도 추론의 필요성을 줄이고 단일 척도 테스트를 가능하게 한다.
• 다중 척도 회귀 네트워크는 다중 척도 감시 기반 모델보다 추가로 0.4% 향상(88.1% PCK h)을 기록한다.
• 구조 인식 손실은 추가로 0.3% 향상(88.3% PCK h)을 기록하여 해부학적 관계를 모델링하는 데 효과적임을 입증한다.
• 키포인트 마스킹 학습은 0.1% 향상(88.4% PCK h)을 기록하여 가려진 키포인트에 대한 강건성을 향상시킴을 보여준다.
• 이 방법은 MPII 챌린지 랭킹에서 선도 위치를 확보하여, 척도 변동, 가림, 복잡한 시나리오가 있는 실제 환경에서의 우수성을 확인한다.