[논문 리뷰] Anti-Confusing: Region-Aware Network for Human Pose Estimation

Xuan Cao, Yanhao Ge외 6명|arXiv (Cornell University)|2019. 05. 03.

Human Pose and Action Recognition참고 문헌 33인용 수 4

한 줄 요약

이 논문은 인간 자세 추정을 위한 새로운 프레임워크인 Region-Aware Network(RANet)을 제안한다. RANet는 파싱 기반 데이터 증강, 저수준 특징을 향상시키기 위한 특징 피라미드 스템, 목표에 특화된 특징을 위한 효과적인 영역 추출, 예측을 정밀하게 보정하기 위한 캐스케이드 보팅 융합을 통해 뚜렷한 교란 무늬—예를 들어 심한 가림, 인접한 사람, 대칭적인 신체 부위—에 대한 강건성을 향상시킨다. RANet는 MPII 및 LSP 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 손목, 발목, 팔꿈치와 같이 예측이 어려운 관절에서 뚜렷한 성능 향상을 보였다.

ABSTRACT

In this work, we propose a novel framework named Region-Aware Network (RANet), which learns the ability of anti-confusing in case of heavy occlusion, nearby person and symmetric appearance, for human pose estimation. Specifically, the proposed method addresses three key aspects, i.e., data augmentation, feature learning and prediction fusion, respectively. First, we propose Parsing-based Data Augmentation (PDA) to generate abundant data that synthesizes confusing textures. Second, we not only propose a Feature Pyramid Stem (FPS) to learn stronger low-level features in lower stage; but also incorporate an Effective Region Extraction (ERE) module to excavate better target-specific features. Third, we introduce Cascade Voting Fusion (CVF) to explicitly exclude the inferior predictions and fuse the rest effective predictions for the final pose estimation. Extensive experimental results on two popular benchmarks, i.e. MPII and LSP, demonstrate the effectiveness of our method against the state-of-the-art competitors. Especially on easily-confusable joints, our method makes significant improvement.

연구 동기 및 목표

• 심한 가림, 인접한 사람, 대칭적인 신체 외관 등 복잡한 교란 무늬가 존재하는 인간 자세 추정 문제를 해결하기 위해.
• 기존에 다루지 않았던 대칭적인 외관이 자세 추정에서의 혼란의 원인임을 규명하기 위해.
• 교란에 강건한 능력을 갖추기 위해 데이터 증강, 특징 학습, 예측 융합을 동시에 향상시키는 통합 프레임워크를 개발하기 위해.
• 손목, 발목, 무릎, 팔꿈치와 같이 예측이 어려운 관절의 성능을 향상시키기 위해.

제안 방법

• 인간 관절 주변의 신체 부위를 분할하고 재배치하여 실제감 있는 교란 무늬를 합성하는 파싱 기반 데이터 증강(PDA) 기법을 제안한다.
• 다양한 해상도에서 다중 척도의 저수준 특징을 학습하는 특징 피라미드 스템(FPS)을 도입하여 네트워크 초기 단계에서의 특징 표현을 강화한다.
• 중간 단계의 바운딩 박스 예측 기반으로 인간 신체 영역을 추출하는 효과적인 영역 추출(ERE) 모듈을 설계하여 배경 간섭을 줄이고 목표에 특화된 특징을 강화한다.
• 낮은 신뢰도 예측을 제외하고 가중 평균을 사용해 고품질 후보를 적응적으로 융합하는 캐스케이드 보팅 융합(CVF) 모듈을 개발하여 최종 출력을 도출한다.
• 모든 구성 요소를 스택드 아워글라스 기반 아키텍처에 통합하여 엔드 투 엔드 학습 및 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 파싱 기반 데이터 증강이 가림이나 대칭적인 신체 부위와 같은 복잡한 교란 무늬를 효과적으로 시뮬레이션할 수 있는가?
• RQ2 특징 피라미드 스템을 통해 저수준 특징 학습을 강화하면 자세 추정의 강건성이 향상되는가?
• RQ3 예측된 바운딩 박스에서 효과적인 영역 추출이 배경 노이즈를 줄이고 특징의 특정성을 향상시키는가?
• RQ4 열등한 예측을 제외하는 캐스케이드 보팅 융합이 더 정확한 최종 자세 추정을 이끌어내는가?

주요 결과

• RANet는 MPII 검증 세트에서 PCKh@0.5 점수 91.52%를 기록하여 이전 최신 기술 수준 방법들을 초월했다.
• 제거 실험 결과, PDA만으로도 정확도가 1.14% 향상되었고, FPS는 0.35%, ERE는 0.23%, ERE와 결합한 CVF는 최대 1.06% 향상되었다.
• 손목과 발목과 같이 예측이 어려운 관절에서 RANet는 베이스라인 및 이전 방법들에 비해 뚜렷한 성능 향상을 보였으며, 예측 오차의 평균과 분산이 감소했다.
• CVF의 최적 임계값은 후보들 중심으로부터의 평균 거리 근처에 위치하며, 이로부터의 이격은 성능 저하를 초래함으로써 선택적 융합의 중요성을 확인했다.
• 통계 분석 결과, 사지 관절(특히 손목과 발목)은 몸통 관절에 비해 오차 분산이 더 높으며, 수평 방향 예측은 수직 방향 예측보다 일반적으로 더 어렵다는 것이 확인되었다.