[논문 리뷰] Differentiable Hierarchical Graph Grouping for Multi-Person Pose Estimation

Sheng Jin, Wentao Liu외 5명|arXiv (Cornell University)|2020. 07. 23.

Human Pose and Action Recognition참고 문헌 51인용 수 15

한 줄 요약

이 논문은 하향식 다중 인물 자세 추정을 위한 엔드 투 엔드 학습 가능한 프레임워크인 Differentiable Hierarchical Graph Grouping (HGG)을 제안한다. 이는 키포인트 그룹화를 미분 가능한 그래프 클러스터링 문제로 재정의한다. 키포인트 후보를 동적 그래프의 노드로 모델링하고, 엣지 및 매크로 노드 식별자와 함께 계층적 메시지 전달 메커니즘을 사용함으로써, 그룹화 결과에 직접적인 감독을 가능하게 하여 COCO 및 OCHuman 데이터셋에서 비미분 가능 기반 모델 대비 정확도를 크게 향상시킨다.

ABSTRACT

Multi-person pose estimation is challenging because it localizes body keypoints for multiple persons simultaneously. Previous methods can be divided into two streams, i.e. top-down and bottom-up methods. The top-down methods localize keypoints after human detection, while the bottom-up methods localize keypoints directly and then cluster/group them for different persons, which are generally more efficient than top-down methods. However, in existing bottom-up methods, the keypoint grouping is usually solved independently from keypoint detection, making them not end-to-end trainable and have sub-optimal performance. In this paper, we investigate a new perspective of human part grouping and reformulate it as a graph clustering task. Especially, we propose a novel differentiable Hierarchical Graph Grouping (HGG) method to learn the graph grouping in bottom-up multi-person pose estimation task. Moreover, HGG is easily embedded into main-stream bottom-up methods. It takes human keypoint candidates as graph nodes and clusters keypoints in a multi-layer graph neural network model. The modules of HGG can be trained end-to-end with the keypoint detection network and is able to supervise the grouping process in a hierarchical manner. To improve the discrimination of the clustering, we add a set of edge discriminators and macro-node discriminators. Extensive experiments on both COCO and OCHuman datasets demonstrate that the proposed method improves the performance of bottom-up pose estimation methods.

연구 동기 및 목표

• 비미분 가능한 그룹화 방식이 하향식 자세 추정에서 엔드 투 엔드 학습 및 최적의 특징 학습을 방해하는 한계를 해결하기 위해.
• 학습 가능한, 미분 가능한 그래프 기반 프레임워크를 통해 클러스터링 과정에 직접적인 감독을 제공함으로써 그룹화 정확도를 향상시키기 위해.
• 유연한 그래프 구조를 통해 사람 수와 키포인트 인스턴스 수의 변동성을 효과적으로 처리하기 위해.
• 몸의 부분 간 관계를 더 잘 식별하기 위해 엣지 및 매크로 노드 식별자를 도입함으로써 관계 기반 특징 학습을 향상시키기 위해.
• 아키텍처의 대대적인 개선 없이도 주류 하향식 자세 추정 파이프라인에 원활하게 통합될 수 있도록 하기 위해.

제안 방법

• 키포인트 후보를 노드로, 동일한 사람의 키포인트 간 잠재적 연결을 엣지로 간주하는 그래프 클러스터링 작업으로 키포인트 그룹화를 재정의한다.
• 가장 확신도가 높은 키포인트 쌍을 반복적으로 병합하여 클러스터를 형성하는 온라인 계층적 그래프 클러스터링(OHGC) 알고리즘을 제안한다. 이는 부분에서부터 전체 신체로의 자세 계층을 형성한다.
• 노드 표현 및 클러스터 할당을 개선하기 위해 계층적 메시지 전달을 수행하는 다층 그래프 신경망(GNN)을 설계한다.
• 로컬 키포인트 관계를 강화하기 위해 엣지 식별자를 도입하고, 클러스터 간 전역 일관성을 강제하기 위해 매크로 노드 식별자를 도입한다.
• 전체 그룹화 과정을 미분 가능하게 만들었으며, 이는 그룹화 손실이 키포인트 검출 네트워크로 역전파되어 공동 최적화가 가능하도록 한다.
• 최대 연결성을 확보하고 성능을 높이기 위해 완전히 연결된 그래프 구조를 사용하였으며, 그래프 구성에 대한 분석을 통해 검증되었다.

실험 결과

연구 질문

• RQ1 하향식 자세 추정에서 키포인트 그룹화를 완전히 미분 가능하고 엔드 투 엔드 학습 가능한 방식으로 만들 수 있는가?
• RQ2 그래프 기반 프레임워크에서 계층적 메시지 전달이 표준 GNN 또는 후처리 클러스터링 대비 그룹화 정확도를 어떻게 향상시키는가?
• RQ3 엣지 및 매크로 노드 식별자의 도입이 관계 기반 특징 학습과 그룹화 성능에 어떤 영향을 미치는가?
• RQ4 학습 가능한 그래프 기반 클러스터링 메커니즘이 실제 환경 기준 테스트에서 비미분, 히우리스틱 기반 그룹화를 능가할 수 있는가?
• RQ5 제안된 방법이 음영, 작은 인물 인스턴스와 같은 어려운 상황에서도 일반화 가능한가?

주요 결과

• HGG는 COCO 테스트-디브 세트에서 67.6 AP를 달성하여 엔드 투 엔드가 아닌 방법을 능가했으며, 더 높은 IoU 임계값(AP 75)에서 우수한 성능을 보여 정밀도 향상을 확인했다.
• 더 어려운 OCHuman 데이터셋에서 HGG는 검증 세트에서 41.8% mAP, 테스트 세트에서 36.0% mAP를 기록하여 새로운 최고 성능을 수립했다.
• OCHuman 테스트 세트에서 상향식 방법인 SBL보다 2.7 AP 높은 성능을 보이며 어려운 상황에서도 강건성을 입증했다.
• 완전히 연결된 그래프 구조가 가장 높은 성능(60.4% mAP)을 보였으며, 트리, 빠스럽, 확장된 구조보다 뛰어나며 최소한의 런타임 오버헤드를 보였다.
• 그룹화 모듈은 전체 추론 시간의 소수의 비율을 차지하여 복잡성에도 불구하고 효율적인 성능을 보였다.
• 시각화 결과는 OHGC 알고리즘이 단계적으로 신체 부분을 병합하여 전체 자세로 이어지는 자세 계층을 형성함을 확인했으며, 이는 전역 일관성 학습을 지원한다.