[논문 리뷰] Weakly Supervised Body Part Parsing with Pose based Part Priors.

Zhengyuan Yang, Yuncheng Li외 3명|arXiv (Cornell University)|2019. 07. 30.

Human Pose and Action Recognition인용 수 5

한 줄 요약

이 논문은 자세 기반 파트 사전 지식과 반복적 개선을 활용하여 최소한의 애너테이션 노력으로 최신 기술 수준의 성능을 달성하는 약한 감독 기반 신체 부위 분할 프레임워크를 제안한다. Pascal-Person-Part에서 62.0% mIoU를 기록하며, 완전 감독 방법(63.6% mIoU)과 맞먹고, 추가로 약한 감독 정보가 제공될 경우 기존 준감독 방법들을 능가한다.

ABSTRACT

Human body part parsing refers to the task of predicting the semantic segmentation mask for each body part. Fully supervised body part parsing methods achieve good performances, but require an enormous amount of effort to annotate part masks for training. In contrast to high annotation costs required for a limited number of part mask annotations, a large number of weak labels such as poses and full body masks already exist and contain relevant information. Motivated by the possibility of using existing weak labels, we propose the first weakly supervised body part parsing framework. The basic idea is to train a parsing network with pose generated part priors that has blank uncertain regions on estimated boundaries, and use an iterative refinement module to generate new supervision and predictions on these regions. When sufficient extra weak supervisions are available, our weakly-supervised results (62.0% mIoU) on Pascal-Person-Part are comparable to the fully supervised state-of-the-art results (63.6% mIoU). Furthermore, in the extended semi-supervised setting, the proposed framework outperforms the state-of-art methods. In addition, we show that the proposed framework can be extended to other keypoint-supervised part parsing tasks such as face parsing.

연구 동기 및 목표

• 완전 감독 기반의 신체 부위 분할에서 발생하는 높은 애너테이션 비용 문제를 해결하기 위해 기존의 약한 레이블(예: 자세 정보, 전체 신체 마스크 등)을 활용하는 것.
• 신체 부위 경계 부근에서 빈 공간 또는 불확실한 영역을 포함한 자세 기반 파트 사전 지식을 초기 지도로 사용하는 약한 감독 프레임워크를 개발하는 것.
• 불확실한 영역에 대해 새로운 의사 지도 정보를 생성함으로써 예측을 반복적으로 개선함으로써, 전체 마스크 애너테이션 없이도 분할 정확도를 향상시키는 것.
• 얼굴 분할과 같은 다른 관절 기반 지도 분할 작업으로 프레임워크를 확장하여 일반화 능력을 입증하는 것.

제안 방법

• 신체 부위 경계에서 빈 공간 또는 불확실한 영역을 포함한 자세 기반 파트 사전 지식을 사용하여 분할 네트워크를 초기화한다.
• 반복적 개선 모듈은 예측 마스크의 불확실한 영역을 식별하고, 이러한 영역에 대해 새로운 의사 지도 정보를 생성한다.
• 예측과 의사 레이블 생성을 번갈아가며 수행함으로써 점차 마스크 품질을 향상시키는 프로세스를 반복한다.
• 밀도 있는 마스크 애너테이션 없이도 인간 자세의 공간적 구조를 활용하여 파트 위치를 안내할 수 있다.
• 초기 사전 지식과 개선된 의사 레이블에 대해 교차 엔트로피 손실을 사용하여 프레임워크를 엔드 투 엔드로 훈련한다.
• 새로운 해부학적 관절 구성에 맞게 자세 기반 사전 지식 생성 방식을 조정하여, 다른 관절 기반 지도 분할 작업으로의 확장이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 경계가 불확실한 자세 기반 파트 사전 지식은 신체 부위 분할에 효과적인 약한 지도로 기능할 수 있는가?
• RQ2 불확실한 영역을 반복적으로 개선하는 방식이 전체 마스크 애너테이션 없이도 분할 성능을 크게 향상시킬 수 있는가?
• RQ3 Pascal-Person-Part에서 약한 감독 기반 프레임워크의 성능은 완전 감독 기반 최신 기술 수준의 방법과 비교해 어떻게 되는가?
• RQ4 이 프레임워크는 얼굴 분할과 같은 다른 관절 기반 지도 분할 작업으로 일반화될 수 있는가?
• RQ5 추가로 약한 지도 정보가 제공될 경우, 준감독 설정에서 이 프레임워크가 더 높은 성능을 달성하는가?

주요 결과

• 제안된 약한 감독 기반 방법은 Pascal-Person-Part에서 62.0% mIoU를 기록하여 완전 감독 기반 최신 기술 수준의 결과(63.6% mIoU)에 매우 가까운 성능을 달성한다.
• 준감독 설정에서는 추가로 제공된 약한 지도 정보를 활용하여 기존 최신 기술 수준의 방법들을 능가하는 성능을 기록한다.
• 반복적 개선 모듈은 경계 영역의 불확실성을 효과적으로 줄여주어 반복 학습 과정을 거치면서 마스크 품질이 점차 향상됨을 보여준다.
• 얼굴 분할과 같은 다른 관절 기반 지도 분할 작업으로의 일반화 능력이 뛰어나, 프레임워크의 적응 가능성과 유연성을 입증한다.
• 자세 기반 사전 지식의 사용으로 고비용의 마스크 애너테이션 필요성을 크게 줄일 수 있었으며, 높은 성능를 유지할 수 있었다.