[논문 리뷰] Differentiable Multi-Granularity Human Representation Learning for Instance-Aware Human Semantic Parsing

Tianfei Zhou, Wenguan Wang외 3명|arXiv (Cornell University)|2021. 03. 08.

Human Pose and Action Recognition참고 문헌 28인용 수 5

한 줄 요약

이 논문은 분류 수준의 세분화, Densely-to-Sparse Projection Field (DSPF)를 통한 신체 부위에서 관절으로의 투영, 그리고 미분 가능 키포인트 연관을 공동으로 학습하는, 미분 가능하고 엔드 투 엔드인 바닥에서부터의 인스턴스 인식 인간 의미 분석 프레임워크를 제안한다. 잔차 보정과 학습 가능한 특징 왜곡을 통한 굵은 단계에서 세밀한 단계로의 DSPF 추정을 활용하고, 이중 매칭 솔버를 통해 미분 가능한 방식으로 최적화함으로써, 특히 혼잡한 장면에서 기존의 상향식 기반 방법보다 훨씬 빠른 추론 속도를 기록하며 최신 기술 수준의 성능을 달성한다.

ABSTRACT

To address the challenging task of instance-aware human part parsing, a new bottom-up regime is proposed to learn category-level human semantic segmentation as well as multi-person pose estimation in a joint and end-to-end manner. It is a compact, efficient and powerful framework that exploits structural information over different human granularities and eases the difficulty of person partitioning. Specifically, a dense-to-sparse projection field, which allows explicitly associating dense human semantics with sparse keypoints, is learnt and progressively improved over the network feature pyramid for robustness. Then, the difficult pixel grouping problem is cast as an easier, multi-person joint assembling task. By formulating joint association as maximum-weight bipartite matching, a differentiable solution is developed to exploit projected gradient descent and Dykstra's cyclic projection algorithm. This makes our method end-to-end trainable and allows back-propagating the grouping error to directly supervise multi-granularity human representation learning. This is distinguished from current bottom-up human parsers or pose estimators which require sophisticated post-processing or heuristic greedy algorithms. Experiments on three instance-aware human parsing datasets show that our model outperforms other bottom-up alternatives with much more efficient inference.

연구 동기 및 목표

• 바닥에서부터의 엔드 투 엔드 방식으로 동시에 의미 분할과 다수 인물의 자세 추정을 학습함으로써 인스턴스 인식 인간 의미 분석의 과제를 해결한다.
• 하향식 자세 추정에서 히وري스틱 후처리 및 탐욕적 연관 방식의 한계를 극복하기 위해, 관절 그룹화에 대한 미분 가능한 감독를 가능하게 한다.
• 밀도에서 희소로의 투영 필드(DSPF)를 학습하여 가림과 자세 변화에 대한 강건성을 향상시키며, 의미적 부위와 인간 관절 간의 명시적 연결을 제공한다.
• 사람 수에 따라 선형적으로 증가하는 상향식 접근 방식과 달리, 인스턴스 수에 관계없이 효율적이고 확장 가능한 추론을 가능하게 한다.
• 미세한 의미 정보와 희소적인 뼈대적 구조를 하나의 미분 가능한 프레임워크 안에서 통합한 다중 해상도 수준의 인간 표현 학습을 실현한다.

제안 방법

• 각 인간 픽셀에서 가장 가까운 인스턴스 관절로의 오프셋을 인코딩하는 학습 가능한 2차원 벡터장인 Dense-to-Sparse Projection Field (DSPF)를 도입하여, 의미적 부분과 관절 간의 명시적 연관을 가능하게 한다.
• 특징 피라미드를 통해 굵은 단계에서 세밀한 단계로의 DSPF 추정 전략을 적용: 깊은, 해상도가 낮은 특징에서의 추정 결과를 이중선형 업샘플링과 잔차 학습을 통해 잔차 보정으로 개선한다.
• 교차 레이어 특징을 정렬하기 위해 학습 가능한 특징 왜곡을 통합하여 특징 분포의 이탈을 줄이고 DSPF 회귀 정확도를 향상시킨다.
• 투영된 경사 하강법과 Dikstra의 순환 투영을 사용한 이중 매칭 문제의 미분 가능한 해법을 제안하여, 그룹화 오류의 역전파를 가능하게 한다.
• 관절 연관의 최적화 목표로 최대 무게 이중 매칭을 사용하며, 이를 미분 가능한 문제로 재구성하여 엔드 투 엔드 학습을 지원한다.
• 모든 구성 요소—의미 분할, DSPF 회귀, 미분 가능한 매칭—을 하나의 완전한 컨volution 네트워크로 통합하여 엔드 투 엔드로 훈련 가능한 네트워크를 구성한다.

실험 결과

연구 질문

• RQ1 후처리에 의존하지 않고, 인스턴스 인식 인간 의미 분석과 다수 인물 자세 추정을 동시에 최적화할 수 있는 미분 가능하고 엔드 투 엔드 프레임워크가 존재하는가?
• RQ2 직접 회귀 대비, 굵은 단계에서 세밀한 단계로의 잔차 기반 DSPF 추정 전략이 가림과 신체 변화에 대한 강건성을 어떻게 향상시키는가?
• RQ3 미분 가능한 관절 연관이 탐욕적 또는 히وري스틱 매칭 전략에 비해 자세 추정 및 분할 정확도 측면에서 어느 정도 향상되는가?
• RQ4 혼잡한 장면에서 상향식 방법보다 빠른 추론 속도를 기록할 수 있는가? 바닥에서부터의 엔드 투 엔드 접근 방식이 상향식 방법보다 빠른가?
• RQ5 교차 레이어 특징 정렬과 잔차 보정은 DSPF 예측의 안정성과 정확도에 어떤 기여를 하는가?

주요 결과

• 제안된 방법은 MHP v2 검증 세트에서 AP${}_{50}^{p}$ = 38.9를 달성하여 기존의 바닥에서부터의 방법을 능가하고, 인스턴스 인식 인간 의미 분석 분야에서 최신 기술 수준의 성능을 입증한다.
• 미분 가능한 관절 연관을 통해 모델은 mAP 포즈 65.8을 달성하였으며, 탐욕적 매칭 기반 방법(63.9–64.3)에 비해 뚜렷한 향상을 보여, 엔드 투 엔드 감독의 유용성을 확인한다.
• 절단 분석 결과, 굵은 단계에서 세밀한 단계로의 추론, 잔차 보정, 학습 가능한 왜곡을 모두 조합하면 기준 모델(35.5 → 38.9) 대비 AP${}_{50}^{p}$가 3.4점 향상되며, 각 구성 요소의 효과성을 입증한다.
• 모델은 이미지 내 사람 수에 관계없이 일정한 추론 시간을 유지하지만, 상향식 모델은 사람 수에 비례하여 선형 증가한다. 제안된 방법은 MHP v2에서 M-CE2P와 P-RCNN보다 2–3배 빠르다.
• 정성적 결과는 어려운 상황—가림, 혼잡한 장면, 극단적인 자세—에서도 강력한 일반화 능력을 보이며, 정밀한 인스턴스 수준의 분할과 관절 연관을 가능하게 한다.
• 실행 시간 분석 결과, 완전한 컨volution 설계가 효율적이고 확장 가능한 추론을 가능하게 하여, 실시간 및 실용적 구현에 적합함을 확인한다.