[논문 리뷰] Explicit Occlusion Reasoning for Multi-person 3D Human Pose Estimation

Qihao Liu, Yi Zhang외 2명|arXiv (Cornell University)|2022. 07. 29.

Human Pose and Action Recognition인용 수 4

한 줄 요약

이 논문은 가시 신호를 활용하여 가림된 관절을 명시적으로 고려하는 HUPOR라는 새로운 프레임워크를 제안한다. 깊이 있는 감독을 통한 인코더 디스틸레이션(DSED) 네트워크를 통해 가시 관절 검출과 가림된 관절 추론를 분리하고, 뼈대를 기반으로 한 형상 피팅(SSF) 방법을 사용해 정확한 가짜 가림 레이블을 생성함으로써, 다양한 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 심한 가림 상황에서도 뛰어난 내성 확보를 한다.

ABSTRACT

Occlusion poses a great threat to monocular multi-person 3D human pose estimation due to large variability in terms of the shape, appearance, and position of occluders. While existing methods try to handle occlusion with pose priors/constraints, data augmentation, or implicit reasoning, they still fail to generalize to unseen poses or occlusion cases and may make large mistakes when multiple people are present. Inspired by the remarkable ability of humans to infer occluded joints from visible cues, we develop a method to explicitly model this process that significantly improves bottom-up multi-person human pose estimation with or without occlusions. First, we split the task into two subtasks: visible keypoints detection and occluded keypoints reasoning, and propose a Deeply Supervised Encoder Distillation (DSED) network to solve the second one. To train our model, we propose a Skeleton-guided human Shape Fitting (SSF) approach to generate pseudo occlusion labels on the existing datasets, enabling explicit occlusion reasoning. Experiments show that explicitly learning from occlusions improves human pose estimation. In addition, exploiting feature-level information of visible joints allows us to reason about occluded joints more accurately. Our method outperforms both the state-of-the-art top-down and bottom-up methods on several benchmarks.

연구 동기 및 목표

• 단일 카메라 다인용 3D 인간 자세 추정에서 지속적인 문제로 남아 있는 가림 현상에 대응하여, 실제 환경에서 성능 저하를 완화한다.
• 기존 방법들이 일반화가 잘 되지 않는 가림 패tern에 대해 암시적 추론이나 자세 사전 지식에 의존하는 한계를 극복한다.
• 사람의 가림된 관절을 가시 관절과 맥락적 신호로부터 추론할 수 있는 능력을 모델링함으로써 명시적 가림 추론을 가능하게 한다.
• 기존 데이터셋에서 관절 수준의 가시성 레이블이 부족한 점을 보완하기 위해 정확한 가짜 가림 레이블을 생성함으로써 학습에 활용한다.
• 감지 및 그룹화의 내성 확보를 향상시키기 위해 추론 모듈을 통합함으로써 2D 및 3D 인간 자세 추정 성능을 모두 향상시킨다.

제안 방법

• 3D 인간 자세 추정을 두 단계로 분할한다: (1) 최신 기술의 바닥에서 위로 향한 검출기를 사용한 가시 관절 검출, (2) 전용 모듈을 통한 가림된 관절 추론.
• 가시 관절과 맥락 정보의 특징 수준 표현을 활용하여 가림된 관절을 명시적으로 추론하기 위해 깊이 있는 감독을 통한 인코더 디스틸레이션(DSED) 네트워크를 제안한다.
• 이미지에 파arametric SMPL 모델을 피팅하고 투영 기반의 가시성 검사를 사용함으로써 정확한 가짜 가림 레이블을 생성하기 위해 뼈대를 기반으로 한 형상 피팅(SSF) 방법을 도입한다.
• 2D/3D 자세 기반 피팅과 이미지 기반 피팅을 결합함으로써 기존 형상 피팅 방법을 개선하여 자기 가림, 물체 가림, 사람 간 상호 가림을 모두 탐지할 수 있도록 한다.
• 생성된 가짜 가림 레이블을 사용해 추론 모듈을 학습함으로써 수동 레이블링이 필요 없이 명시적 가림 추론을 학습할 수 있다.
• 심도 인식 구성 요소를 조정함으로써 2D 및 3D 자세 추정 모두에 호환 가능한 프레임워크를 제공한다.

실험 결과

연구 질문

• RQ1 명시적 가림 추론이 심한 가림 상황에서 다인용 3D 인간 자세 추정의 내성 확보를 크게 향상시킬 수 있는가?
• RQ2 실제 가시성 레이블이 없는 상황에서 정확한 가짜 가림 레이블을 어떻게 생성할 수 있는가?
• RQ3 가시 관절 특징을 활용하는 전용 추론 모듈이 종합적 또는 암시적 추론 접근 방식을 능가할 수 있는가?
• RQ4 기본적인 아워글래스 또는 트랜스포머 기반 아키텍처에 비해 DSED 네트워크가 가림된 관절 예측 성능을 얼마나 향상시키는가?
• RQ5 제안된 방법이 심도 감독 없이 2D 인간 자세 추정으로 일반화되어 성능 향상을 이룰 수 있는가?

주요 결과

• HUPOR는 COCO test-dev 2017 벤치마크에서 최신 기술 수준 성능을 달성하여 DSED 추론 모듈을 사용함으로써 AP를 68.4에서 69.5로 향상시켰다.
• 3DPW 데이터셋에서 MPJPE는 80.0에서 79.1로, PA-MPJPE는 48.8에서 49.3으로 감소하여 메쉬 복구 정확도 향상을 입증했다.
• SSF 방법은 정밀도 88.5% 및 재현율 80.5%로, 기존 기준 방법(Cylinder: 65.3% 정밀도, HybrIK: 80.0% 정밀도)보다 뛰어난 성능을 보였다.
• 추론 모듈을 추가함으로써 COCO에서 2D 자세 추정 성능이 최대 1.7 AP 향상되어 3D 작업을 넘어서 일반화 능력을 입증했다.
• DSED 네트워크는 핵심 요소이다: 이를 제거하면 COCO에서 성능이 2 AP 이상 감소하여 효과적인 특징 디스틸레이션의 역할을 확인했다.
• 품질 비교를 통해 사람을 놓치는 경우, 불필요한 사람 검출, 가림 상황에서 완전하지 못한 뼈대 등의 일반적인 실패 케이스를 줄였다.