[논문 리뷰] Graph-PCNN: Two Stage Human Pose Estimation with Graph Pose Refinement

Jian Wang, Xiang Long외 3명|arXiv (Cornell University)|2020. 07. 21.

Human Pose and Action Recognition참고 문헌 50인용 수 12

한 줄 요약

Graph-PCNN는 상향식 인간 자세 추정을 위한 이중 단계, 모델 독립 프레임워크를 제안하며, rough proposal와 세밀한 보정 단계를 분리하여 관건점 위치 정확도를 향상시킨다. 히트맵 회귀에서 유도된 가이드 포인트와 그래프 컨volution을 통해 상하좌우 관계를 모델링하는 그래프 자세 보정 모듈을 도입하여 COCO test-dev에서 76.8% AP를 달성하며 새로운 최고 성능을 기록한다.

ABSTRACT

Recently, most of the state-of-the-art human pose estimation methods are based on heatmap regression. The final coordinates of keypoints are obtained by decoding heatmap directly. In this paper, we aim to find a better approach to get more accurate localization results. We mainly put forward two suggestions for improvement: 1) different features and methods should be applied for rough and accurate localization, 2) relationship between keypoints should be considered. Specifically, we propose a two-stage graph-based and model-agnostic framework, called Graph-PCNN, with a localization subnet and a graph pose refinement module added onto the original heatmap regression network. In the first stage, heatmap regression network is applied to obtain a rough localization result, and a set of proposal keypoints, called guided points, are sampled. In the second stage, for each guided point, different visual feature is extracted by the localization subnet. The relationship between guided points is explored by the graph pose refinement module to get more accurate localization results. Experiments show that Graph-PCNN can be used in various backbones to boost the performance by a large margin. Without bells and whistles, our best model can achieve a new state-of-the-art 76.8% AP on COCO test-dev split.

연구 동기 및 목표

• 상향식 인간 자세 추정에서 관건점 위치 정확도를 향상시키기 위해 rough proposal와 세밀한 보정 단계를 분리한다.
• 그래프 기반 모듈을 사용해 상하좌우 관계를 모델링하여 잘못된 예측를 수정하고 공간 일관성을 향상시킨다.
• 기존의 히트맵 기반 자세 추정기의 아키텍처를 대체하지 않고도 성능을 향상시킬 수 있는 모델 독립 프레임워크를 설계한다.
• 최소한의 추가 계산으로 COCO 벤치마크에서 최고 성능을 달성한다.

제안 방법

• 이 방법은 이중 단계 파이프라인을 사용한다: 첫 번째로, 히트맵 회귀 네트워크가 초기 관건점 제안을 생성하며, 이 제안에서 히트맵 피크 기반으로 가이드 포인트를 샘플링한다.
• 두 번째 단계에서, 국소화 서브넷이 각 가이드 포인트 주변의 인스턴스 전용 특징을 추출하여 좌표 보정을 정확하게 수행한다.
• 그래프 자세 보정(GPR) 모듈을 도입하여 그래프 컨volution 네트워크를 사용해 가이드 포인트 간의 관계를 모델링하고 자세 전반에 걸쳐 구조적 일관성을 강제한다.
• GPR 모듈은 학습 가능한 메시지 전달 방식을 통해 이웃한 관건점의 특징을 집계하여 관계 기반 추론을 통해 위치 정확도를 향상시킨다.
• 이 프레임워크는 다양한 백본(예: HRNet, DarkNet)과 호환되며, 기존 자세 추정 모델에 플러그인 방식으로 추가할 수 있다.
• 최종 좌표는 미분 가능 보정 헤드를 사용해 정밀하게 보정되며, 관건점 회귀를 위한 통합 손실 함수로 최적화된다.

실험 결과

연구 질문

• RQ1 제안과 보정 단계를 분리한 이중 단계 접근 방식이 상향식 자세 추정에서 관건점 위치 정확도를 향상시키는가?
• RQ2 그래프 기반 모듈을 통해 상하좌우 관계를 모델링하는 것이 잘못된 위치로 예측된 관건점을 수정하는 데 얼마나 효과적인가?
• RQ3 아키텍처 변경 없이 다양한 백본에서 성능을 향상시킬 수 있는 모델 독립 프레임워크를 설계할 수 있는가?
• RQ4 그래프 컨볼루션을 통한 관계 기반 추론이 COCO와 같은 표준 벤치마크에서 일관된 성능 향상을 이끌어내는가?

주요 결과

• Graph-PCNN는 COCO test-dev 분할에서 76.8% AP를 달성하여 새로운 최고 성능을 기록했다.
• HR48 백본과 입력 크기 384x288 조건에서, 기준 모델인 HR48에 비해 +1.3% AP 향상(75.5%에서 76.8%로)을 기록했다.
• 동일한 백본과 입력 크기 조건에서, UDP(76.5%), DARK(76.2%), PoseFix(76.7%)와 같은 다른 최고 수준의 방법들보다도 우수한 성능을 보였다.
• 그래프 자세 보정 모듈이 성능 향상에 크게 기여하였으며, 특히 가림과 복잡한 자세 상황에서 유의미한 개선 효과를 보였다.
• PoseFix와 경쟁 가능한 성능을 달성하면서도, 보정 브랜치로 단일 R50 conv5 스테이지만 사용하여 추가 R50 네트워크가 필요로 하는 불편함을 피했다.
• 모델 독립 설계 덕분에 다양한 백본과의 원활한 통합이 가능하여 광범위한 적용 가능성과 일관된 성능 향상을 입증했다.