[논문 리뷰] Pose2Instance: Harnessing Keypoints for Person Instance Segmentation

Subarna Tripathi, Maxwell D. Collins외 2명|arXiv (Cornell University)|2017. 04. 04.

Human Pose and Action Recognition참고 문헌 28인용 수 12

한 줄 요약

이 논문은 인간 관절 히트맵을 조건부로 삼아 인스턴스 세분화 성능을 향상시키는 딥러닝 프레임워크인 Pose2Instance를 제안한다. 오라클 애너테이션 또는 예측된 히트맵으로부터 유도된 거리 변환 히트맵 사전 지식을 활용함으로써, 최신의 세분화 전용 모델 대비 3.8%에서 10.5%의 상대적 정확도 향상을 달성하며, 자세 정보 사전 지식이 인스턴스 수준의 사람 세분화에 상당한 기여를 한다는 것을 입증한다.

ABSTRACT

Human keypoints are a well-studied representation of people.We explore how to use keypoint models to improve instance-level person segmentation. The main idea is to harness the notion of a distance transform of oracle provided keypoints or estimated keypoint heatmaps as a prior for person instance segmentation task within a deep neural network. For training and evaluation, we consider all those images from COCO where both instance segmentation and human keypoints annotations are available. We first show how oracle keypoints can boost the performance of existing human segmentation model during inference without any training. Next, we propose a framework to directly learn a deep instance segmentation model conditioned on human pose. Experimental results show that at various Intersection Over Union (IOU) thresholds, in a constrained environment with oracle keypoints, the instance segmentation accuracy achieves 10% to 12% relative improvements over a strong baseline of oracle bounding boxes. In a more realistic environment, without the oracle keypoints, the proposed deep person instance segmentation model conditioned on human pose achieves 3.8% to 10.5% relative improvements comparing with its strongest baseline of a deep network trained only for segmentation.

연구 동기 및 목표

• 인간 자세 사전 지식이 최신의 의미 세분화 모델을 초월하여 인스턴스 수준의 사람 세분화 성능을 향상시키는지 조사하는 것.
• 추론 시 오라클 인간 관절 애너테이션을 사전 지식으로 사용했을 때의 성능 향상 정도를 정량화하는 것.
• 공유된 특징을 활용해 관절 추정과 인스턴스 세분화를 동시에 학습하는 엔드 투 엔드 딥 모델을 개발하는 것.
• 오라클 관절 히트맵 없이도 실제 환경에서 자세 조건부 세분화의 효과성을 평가하는 것.
• 자세 정보가 딥 세분화 아키텍처에 효과적으로 통합되어 인스턴스 수준의 정렬 및 세분화 정확도를 향상시킬 수 있음을 보여주는 것.

제안 방법

• 모델은 관절 히트맵 예측과 세분화를 위한 공통 컨볼루션 기반 백본(최전단 레이어까지)을 사용하여 특징 공유를 가능하게 한다.
• 관절 히트맵은 거리 변환을 통해 인간 신체의 기하학적 구조를 캡슐화한 공간 사전 지식으로 변환된다.
• 거리 변환된 관절 히트맵은 최종 세분화 헤드에 추가 입력 채널로 결합되어 인스턴스 수준의 예측을 수행한다.
• 모델은 계단식 방식으로 학습되며, 먼저 바운딩 박스와 관절 히트맵을 예측하고, 이후 자세 사전 지식을 활용해 세분화를 정밀하게 보정한다.
• 공유된 특징 추출기를 사용하는 다중 작업 학습 전략이 관절 추정과 세분화를 동시에 최적화하도록 설계된다.
• 프레임워크는 COCO 인스턴스 세분화 및 COCO 사람 관절 키포ints 데이터셋의 교차 영역에서 평가되며, 다양한 IoU 임계값에서 표준 AP 메트릭을 사용한다.

실험 결과

연구 질문

• RQ1 거리 변환된 관절 히트맵으로 표현된 인간 자세 사전 지식이 모델 재학습 없이도 인스턴스 세분화 성능 향상에 기여하는가?
• RQ2 실제 환경에서 오라클 관절 히트맵 없이도 자세 조건부 세분화 모델이 세분화 전용 베이스라인 대비 얼마나 향상되는가?
• RQ3 예측된 관절 히트맵을 사용할 때와 오라클 관절 애너테이션을 사용할 때의 인스턴스 세분화 정확도 향상 정도는 각각 얼마나 되는가?
• RQ4 계단식 Pose2Instance 아키텍처가 다중 작업 공동 학습 방식보다 세분화 정확도 측면에서 뛰어나게 성능을 냈는가?
• RQ5 특히 혼잡하거나 가림이 심한 장면에서 관절 추정 실패에 대해 자세 조건부 세분화 모델의 강인성은 어떠한가?

주요 결과

• 오라클 관절 애너테이션을 사용하는 제한된 환경에서 Pose2Instance 모델은 오라클 바운딩 박스만을 사용하는 강력한 베이스라인 대비 10%에서 12%의 상대적 정확도 향상을 달성한다.
• 오라클 관절 히트맵 없이 실제 환경에서 평가한 결과, 계단식 Pose2Instance 모델은 세분화 전용 베이스라인 대비 3.8%에서 10.5%의 상대적 AP 향상을 기록한다.
• 계단식 Pose2Instance 모델은 다중 작업 공동 학습 모델보다 성능이 뛰어나며, IoU=0.5일 때 3%의 절대 AP 향상과 IoU=[0.5,0.95]일 때 4%의 향상을 보였다.
• 정성적 결과를 통해 모델은 혼잡한 장면에서도 개별 사람 인스턴스를 성공적으로 세분화하는 것으로 나타났지만, 자세 추정기가 실패할 경우 성능 저하가 발생한다.
• VGG 기반의 자세 추정기조차도 효과적으로 작동함을 통해, 이 프레임워크는 관절 예측 오차가 중간 정도일 경우에도 강인함을 입증한다.
• 자세 사전 지식의 통합은 부분적 가림이나 높은 인스턴스 밀도로 인해 외관 유사성이 높아 분리가 어려운 경우에 특히 세분화 정확도 향상에 기여한다.