[논문 리뷰] Nondiscriminatory Treatment: a straightforward framework for multi-human parsing

Min Yan, Guoshan Zhang외 2명|arXiv (Cornell University)|2021. 01. 26.

Natural Language Processing Techniques참고 문헌 56인용 수 4

한 줄 요약

이 논문은 인간 및 신체 부위를 구분 없이 카테고리 레이블이 부여된 인스턴스로 간주하는 종단간 박스 없는 프레임워크인 인간 파싱을 위한 비차별적 대응(Nondiscriminatory Treatment for Human Parsing, NTHP)을 제안한다. 이는 공유 프로토타입 기반의 통합 마스크 예측 모듈을 사용해 이진 마스크를 생성하고, 이후 인간과 해당 신체 부위를 연결하는 새로운 그룹화 후처리 단계를 거친다. NTHP는 MHP v2.0과 PASCAL-Person-Part에서 최신 기준 성능(SOTA)을 달성하여, MHP v2.0에서 51.1 AP p50와 49.9 PCP50의 새로운 기록을 수립한다.

ABSTRACT

Multi-human parsing aims to segment every body part of every human instance. Nearly all state-of-the-art methods follow the "detection first" or "segmentation first" pipelines. Different from them, we present an end-to-end and box-free pipeline from a new and more human-intuitive perspective. In training time, we directly do instance segmentation on humans and parts. More specifically, we introduce a notion of "indiscriminate objects with categorie" which treats humans and parts without distinction and regards them both as instances with categories. In the mask prediction, each binary mask is obtained by a combination of prototypes shared among all human and part categories. In inference time, we design a brand-new grouping post-processing method that relates each part instance with one single human instance and groups them together to obtain the final human-level parsing result. We name our method as Nondiscriminatory Treatment between Humans and Parts for Human Parsing (NTHP). Experiments show that our network performs superiorly against state-of-the-art methods by a large margin on the MHP v2.0 and PASCAL-Person-Part datasets.

연구 동기 및 목표

• 다중 인간 파싱에서 기존의 이단계 '탐지 먼저' 또는 '세분화 먼저' 파이프라인의 한계를 해결하기 위해.
• 인간과 신체 부위를 모두 카테고리 레이블이 부여된 인스턴스로 간주하는 더 직관적이고 인간 같은 접근 방식을 개발하기 위해.
• 경계 상자나 ROI 정렬에 의존하지 않아 특징 왜곡과 계산 오버헤드를 줄이기 위해.
• 인간 및 부위 인스턴스 세분화 간 상호 특징 및 프로토타입 공유를 통해 파싱 정확도를 향상시키기 위해.
• 보다 단순하고 통합된 프레임워크로 기준 데이터셋에서 최신 기준 성능(SOTA)을 달성하기 위해.

제안 방법

• 인간과 신체 부위를 모두 카테고리가 부여된 인스턴스로 간주하는 새로운 개념인 '카테고리가 있는 구분 없는 객체'를 제안하며, 픽셀의 의미 레이블이 아닌 인스턴스로 간주한다.
• 모든 인간 및 부위 카테고리에 걸쳐 공유 프로토타입의 선형 조합을 통해 이진 마스크를 생성하는 공유 프로토타입 기반의 통합 마스크 예측(UMPP) 모듈을 도입한다.
• 다중 수준 특징을 추출하기 위해 특징 피라미드 네트워크(FPN)를 사용하며, 다른 수준은 인간 및 부위 인스턴스 예측에 각각 사용된다.
• 모든 카테고리 예측에 사용되는 학습 가능한 프로토타입을 생성하기 위해 공유 프로토타입 헤드를 활용한다.
• 공간적 및 특징 유사도를 기반으로 각 부위 인스턴스를 해당 인간 인스턴스와 연결하는 새로운 그룹화 후처리 전략을 설계한다.
• 박스 없는 방식으로 종단간 엔드포인트 학습을 수행하여 ROI 자르기 및 정렬을 방지한다.

실험 결과

연구 질문

• RQ1 인간과 신체 부위를 통합된 카테고리 레이블이 부여된 인스턴스로 간주함으로써 다중 인간 파싱 성능이 향상될 수 있는가?
• RQ2 공유 프로토타입 기반의 마스크 예측 메커니즘이 인간 및 부위 인스턴스 세분화를 효과적으로 처리할 수 있는가?
• RQ3 박스 없는 종단간 프레임워크가 경계 상자나 ROI 정렬에 의존하는 이단계 파이프라인을 능가하는가?
• RQ4 간단하고 통합된 그룹화 전략이 부위 수준 예측에서 인간 수준의 파싱을 효과적으로 재구성할 수 있는가?
• RQ5 제안된 프레임워크가 MHP v2.0과 PASCAL-Person-Part와 같은 다양한 기준 데이터셋에 잘 일반화되는가?

주요 결과

• MHP v2.0 검증 세트에서 NTHP는 51.1 AP p50, 49.5 AP pvol, 49.9 PCP50를 기록하여 이전 최고 성능 방법보다 각각 5.8점, 2.7점, 6.1점 향상되었다.
• PASCAL-Person-Part 데이터셋에서 NTHP는 IoU 임계치 0.5, 0.6, 0.7일 때 각각 53.9, 44.7, 31.9 AP r를 기록하며, 이는 이전 SOTA를 4.0점, 5.8점, 6.4점, 6.2점 초월한 성과이다.
• MHP v2.0에서는 12 에포크, PASCAL-Person-Part에서는 54 에포크만으로도 테스트 시 증강 또는 데이터 플립 없이 SOTA 성능을 달성하였다.
• 제거 실험 결과에서 변형 가능한 컨볼루션과 더 긴 학습 스케줄이 성능 향상에 기여하며, MHP v2.0에서 36 에포크가 최고 성능를 낳는 것으로 확인되었다.
• 시각화 결과에 따르면 NTHP는 겹침 및 복잡한 상호작용 상황에서도 효과적으로 대응하며, 붐비는 환경에서도 부위를 정확히 해당 인간에 그룹화하는 데 성공하였다.
• 모델은 다양한 데이터셋 간에 잘 일반화되며, PASCAL-Person-Part에서 외부 데이터셋 사전학습 없이도 강건하고 뛰어난 성능을 보였다.