[논문 리뷰] Multiple-Human Parsing in the Wild

Jianshu Li, Jian Zhao외 6명|arXiv (Cornell University)|2017. 05. 19.

Multimodal Machine Learning Applications참고 문헌 47인용 수 61

한 줄 요약

본 논문은 Multi-Human Parsing (MHP) 데이터셋과 무제약 실제 환경에서 다수의 사람을 위한 전역 파싱 및 인스턴스 인식 파싱을 수행하는 새로운 MH-Parser 모델을 소개하며, Graph-GAN 기반 친화 학습 방식을 통해 달성합니다.

ABSTRACT

Human parsing is attracting increasing research attention. In this work, we aim to push the frontier of human parsing by introducing the problem of multi-human parsing in the wild. Existing works on human parsing mainly tackle single-person scenarios, which deviates from real-world applications where multiple persons are present simultaneously with interaction and occlusion. To address the multi-human parsing problem, we introduce a new multi-human parsing (MHP) dataset and a novel multi-human parsing model named MH-Parser. The MHP dataset contains multiple persons captured in real-world scenes with pixel-level fine-grained semantic annotations in an instance-aware setting. The MH-Parser generates global parsing maps and person instance masks simultaneously in a bottom-up fashion with the help of a new Graph-GAN model. We envision that the MHP dataset will serve as a valuable data resource to develop new multi-human parsing models, and the MH-Parser offers a strong baseline to drive future research for multi-human parsing in the wild.

연구 동기 및 목표

• 다중 상호 작용하는 사람들을 반영하는 실제 환경에서 다중 인간 파싱 문제 정의
• 픽셀 수준의 인스턴스 인식 18 파트 주석을 가진 대규모 MHP 데이터셋 생성
• 외부 탐지기 없이도 전역 파싱 맵과 인스턴스 마스크를 생성하도록 MH-Parser 제안
• Graph-GAN를 활용해 고차 관계를 학습하고 얽힌 사람들의 파싱 성능을 향상

제안 방법

• ResNet-101 기반 표현 학습을 사용하여 전역 인스턴스 비특이적 파싱 맵 G_seg 생성
• 초-픽셀에 대한 쌍향 친화 그래프 정의 및 친화 맵 A를 친화 네트로 예측
• GCN 기반 판별기를 가진 Graph-GAN 도입으로 친화 그래프를 정제하고 고차 관계를 포착
• 전역 일치 맵 M을 계산하여 인스턴스를 구분하고 예측된 A에 대해 고유 스펙트럴 클러스터링으로 군집화
• 친화 그래프에 의해 알려진 단항 및 쌍항 항을 포함하는 CRF로 인스턴스 마스크를 정제
• 분할 손실, L2 친화 손실, GAN 손실의 조합으로 학습하고 픽셀 수준의 인스턴스 인식 파싱을 얻기 위한 테스트 수행

실험 결과

연구 질문

• RQ1 다중 상호 작용 및 가려진 다수의 사람들로 실제 환경에서 다중 인간 파싱 문제를 어떻게 형식화할 수 있는가?
• RQ2 그래프 구조의 친화 학습을 활용한 하향식 접근법이 서로 얽힌 인스턴스를 분리하는 탐지기 기반 방법보다 우수한가?
• RQ3 그래프 구조의 친화를 학습한 Graph-GAN이 인스턴스 간 몸 부위 및 의류의 고차 관계 모델링을 개선하는가?
• RQ4 MHP 데이터셋에서 전역 파싱과 인스턴스 클러스터링의 공동 수행 후 CRF 보정의 효과는 어떠한가?

주요 결과

• MH-Parser는 MHP 데이터셋에서 AP_p 및 PCP 지표 측면에서 Mask R-CNN 및 Discriminative Loss와 경쟁력 있는 성능을 보인다.
• 인스턴스 간 거리가 가까운 어려운 부분집합에서 MH-Parser는 얽힌 인스턴스를 더 잘 처리하여 Mask R-CNN 및 DL보다 우수하다.
• Buffy 데이터셋 평가에서 MH-Parser는 평균 순방 점수 71.11% 및 역방 점수 71.94%를 달성하여 기존 방법들을 능가한다.
• 베이스라인 제거(ablations)에서 GAN 손실 및 정제 단계의 도입에 따른 이점이 나타나며, GT 기반 구성요소가 더 높은 점수를 보인다(예: GT Global Segmentation로 91.75 AP_p_0.5).
• MHP 데이터셋은 4,980장의 이미지와 14,969명의 인스턴스, 18개의 파트 라벨을 포함하여 다중 인간 파싱에 현실적인 큰 복잡성을 보여준다.