[논문 리뷰] Weakly and Semi Supervised Human Body Part Parsing via Pose-Guided Knowledge Transfer

Hao-Shu Fang, Guansong Lu외 4명|arXiv (Cornell University)|2018. 05. 11.

Human Pose and Action Recognition참고 문헌 31인용 수 7

한 줄 요약

이 논문은 자세 유도 지식 전이를 통해 원천 인물의 부위 분할 주석을 대상 인물로 전이함으로써 약한 지도 및 준지도 학습 기반의 인간 신체 부위 분할 방법을 제안한다. 관절 기반 자세 매칭을 통한 해부학적 유사성을 활용하여 합성된 고밀도 분할 레이블을 생성함으로써, PASCAL-Person-Part에서 강력 지도 학습 기반 모델 대비 6 mIOU 향상을 달성하고, 새로운 최고 성능을 기록한다.

ABSTRACT

Human body part parsing, or human semantic part segmentation, is fundamental to many computer vision tasks. In conventional semantic segmentation methods, the ground truth segmentations are provided, and fully convolutional networks (FCN) are trained in an end-to-end scheme. Although these methods have demonstrated impressive results, their performance highly depends on the quantity and quality of training data. In this paper, we present a novel method to generate synthetic human part segmentation data using easily-obtained human keypoint annotations. Our key idea is to exploit the anatomical similarity among human to transfer the parsing results of a person to another person with similar pose. Using these estimated results as additional training data, our semi-supervised model outperforms its strong-supervised counterpart by 6 mIOU on the PASCAL-Person-Part dataset, and we achieve state-of-the-art human parsing results. Our approach is general and can be readily extended to other object/animal parsing task assuming that their anatomical similarity can be annotated by keypoints. The proposed model and accompanying source code are available at https://github.com/MVIG-SJTU/WSHP

연구 동기 및 목표

• 딥 러닝 기반의 분할 모델 성능을 제한하는 고밀도로 주석 처리된 인간 부위 분할 데이터의 부족 문제를 해결하기 위해.
• 인간 간의 해부학적 및 자세 유사성을 활용하여, 몇몇 완전히 주석 처리된 인물들에서 많은 약한 주석 처리된 인물들로 부위 분할 주석을 전이하기 위해.
• 희소 관절 주석을 강력한 사전 지식으로 활용하여 인간 분할의 고밀도 세분화를 위한 일반화 가능한 프레임워크를 개발하기 위해.
• 자세 유도 전이를 통해 생성된 합성 데이터가, 조건부로 노이즈가 있는 관절 추정치가 존재하더라도 모델의 일반화 능력과 성능을 크게 향상시킬 수 있음을 입증하기 위해.
• 인간 분할을 넘어 관절 주석이 존재하는 다른 객체 카테고리(예: 말과 소)로도 이 방법을 확장하기 위해.

제안 방법

• 관절 기반 자세 매칭을 통해 대상 인물과 유사한 자세를 가진 원천 인물을 식별한다.
• 가장 유사한 원천 인물들로부터의 부위 분할 주석을 대상 인물로 전이하여, 밀도 높고 자세 일관성이 확보된 부위 수준의 사전 지식을 형성한다.
• 다수의 유사한 원천에서 주석을 평균화하여 노이즈를 감소시키고 신뢰도를 향상시킨다.
• 입력 이미지와 전이된 부위 수준의 사전 지식을 사용하여 정밀한 고밀도 분할 예측을 생성하는 보정 네트워크를 적용한다.
• 보정된 분할 결과를 준지도 학습 기반의 학습 프로토콜에서 합성 학습 데이터로 활용하여 분할 네트워크를 지도 학습한다.
• 최신 자세 추정기에서 유도된 예측된 자세를 사용할 경우에도 강력한 성능를 보여주며, 노이즈가 있는 관절 예측에 대해 강인함을 입증한다.

실험 결과

연구 질문

• RQ1 희소 관절 주석이 인간 신체 부위 분할을 위한 고밀도 합성 분할 레이블 생성에 효과적으로 활용될 수 있는가?
• RQ2 해부학적으로 유사한 인물들 간의 자세 유도 지식 전이가 약한 지도 및 준지도 학습 기반 분할의 일반화 능력과 성능 향상에 기여하는가?
• RQ3 학습 데이터가 제한된 상황에서 제안된 방법이 완전 지도 학습 기반 모델을 능가할 수 있는가?
• RQ4 실제 환경에서의 관절 추정기에서 유도된 노이즈 있는 예측에 대해 이 방법이 얼마나 강인한가?
• RQ5 관절 주석이 존재할 경우, 이 방법이 인간 외의 다른 객체 카테고리(예: 말과 소)로도 일반화 가능한가?

주요 결과

• 준지도 학습 모델은 PASCAL-Person-Part 데이터셋에서 강력 지도 학습 기반 모델 대비 6 mIOU 향상을 달성하여 이전 최고 성능을 초월한다.
• VGG-16 백본을 사용할 경우, ResNet-101 기반의 강력 지도 학습 모델을 능가하며, 지식 전이 전략의 효과성을 입증한다.
• 다중 해상도 테스트를 적용한 결과, 67.6 mIOU를 기록하여 이전 최고 성능보다 3 mIOU 향상되었다.
• 관절 추정 결과(예: COCO에서 MPII 훈련 모델을 사용한 경우)를 활용할 경우, 61.8 mIOU를 기록하여 진정한 관절 주석을 사용한 결과와 유사한 성능를 보이며 노이즈에 강인함을 입증한다.
• Horse-Cow 데이터셋에서 말과 소에 대해 각각 3.14와 3.39의 mIOU 향상을 기록하였으며, ResNet-101 백본을 사용할 경우 76.99와 74.22 mIOU를 기록하여 새로운 최고 성능(SOTA)을 달성했다.
• 정성적 결과를 통해 보정 네트워크가 더 조밀하고 정확한 마스크를 생성하며, 구조적 오류를 감소시켜 주된 분할 네트워크의 성능 향상에 기여하는 것으로 나타났다.