[논문 리뷰] Look into Person: Self-supervised Structure-sensitive Learning and A New Benchmark for Human Parsing

Ke Gong, Xiaodan Liang외 3명|arXiv (Cornell University)|2017. 03. 16.

Multimodal Machine Learning Applications참고 문헌 31인용 수 51

한 줄 요약

Look into Person (LIP) 대규모 인간 파싱 벤치마크와 추론된 바디 조인트 구조에 일치하도록 파싱 결과를 강제하는 자기지도 구조-민감 학습(SSL) 방법을 도입한다. SSL은 LIP 및 PASCAL-Person-Part 데이터셋에서 파싱 정확도를 향상시킨다.

ABSTRACT

Human parsing has recently attracted a lot of research interests due to its huge application potentials. However existing datasets have limited number of images and annotations, and lack the variety of human appearances and the coverage of challenging cases in unconstrained environment. In this paper, we introduce a new benchmark "Look into Person (LIP)" that makes a significant advance in terms of scalability, diversity and difficulty, a contribution that we feel is crucial for future developments in human-centric analysis. This comprehensive dataset contains over 50,000 elaborately annotated images with 19 semantic part labels, which are captured from a wider range of viewpoints, occlusions and background complexity. Given these rich annotations we perform detailed analyses of the leading human parsing approaches, gaining insights into the success and failures of these methods. Furthermore, in contrast to the existing efforts on improving the feature discriminative capability, we solve human parsing by exploring a novel self-supervised structure-sensitive learning approach, which imposes human pose structures into parsing results without resorting to extra supervision (i.e., no need for specifically labeling human joints in model training). Our self-supervised learning framework can be injected into any advanced neural networks to help incorporate rich high-level knowledge regarding human joints from a global perspective and improve the parsing results. Extensive evaluations on our LIP and the public PASCAL-Person-Part dataset demonstrate the superiority of our method.

연구 동기 및 목표

• 실세계 외관 다양성 및 도전적 시나리오를 포괄하기 위해 대규모의 다양하고 포괄적인 인간 파싱 벤치마크를 만든다.
• 다양한 조건에서 강점과 실패 모드를 식별하기 위해 최신 인간 파싱 방법을 분석한다.
• 추가 관절 주석 없이도 인간 바디 구조와 시맨틱 일관성을 강제하는 자기지도 구조-민감 학습 프레임워크를 제안한다.

제안 방법

• 새로운 Look into Person (LIP) 데이터셋에 50,462장의 이미지와 19개의 의미 파트 라벨 및 배경 라벨을 포함하여 주석을 부여한다.
• LIP에서 최신 파싱 방법을 분석하여 성능 격차와 구조 관련 실패를 이해한다.
• 파싱 맵에서 추정된 관절(머리, 상체, 하체, 사지, 신발)을 사용하여 파싱 손실의 가중치를 부여하는 자기지도 구조-민감 손실을 도입한다.
• 파싱 결과와 정답으로부터 관절 구조 열지도를 계산한 다음, 예측 관절 열지도와 정답 관절 열지도 간의 L2 손실을 구조 항으로 최소화한다.
• 최종 손실을 Structure = JointLoss × ParsingLoss 로 도출하여 기존 네트워크(예: Attention to Scale, DeepLabV2)에 엔드투엔드로 통합할 수 있게 한다.
• LIP와 공개 PASCAL-Person-Part 데이터셋에서 SSL을 평가하여 평균 IoU 및 클래스별 개선을 입증하고, 특히 작은 파트나 시각적으로 모호한 파트에서의 개선을 보인다.

실험 결과

연구 질문

• RQ1 실세계 외관 변이, 가림, 시점 변화를 포착하기 위해 인간 파싱 데이터세트는 얼마나 크고 다양해야 하는가?
• RQ2 최신 파싱 모델이 인간 바디 레이아웃과의 구조적 불일치를 겪고 있으며, 구조 인식적 자기지도 신호가 추가 주석 없이 예측을 개선할 수 있는가?
• RQ3 관절-구조 기반 가중치 부여 방식이 픽셀 단위 파싱 정확도를 개선할 수 있는가, 특히 작은 파트와 왼쪽/오른쪽 구분이 모호한 경우에?
• RQ4 제안된 SSL 접근법이 데이터셋(LIP 및 PASCAL-Person-Part)과 네트워크 백본 간에 전이 가능한가?

주요 결과

• LIP은 50,462장의 이미지 벤치마크로 19개 파트 라벨과 배경 라벨을 포함하여 이전 데이터셋보다 더 높은 다양성과 난이도를 제공한다.
• 최신 파싱 방법은 LIP에서 의미 있는 성능 격차를 보이며, 구조 사전 정보와 다중 스케일 특성이 결과를 향상시킨다.
• 제안된 자기지도 구조-민감 학습(SSL)은 LIP와 PASCAL-Person-Part 모두에서 파싱 성능을 일관되게 향상시키며, 베이스라인 대비 상당한 차이로 우수하다.
• 개별 클래스 IoU 증가분은 특히 작은 파트나 매우 모호한 파트(예: 선글라스, 장갑, 양말) 및 왼쪽/오른쪽 사지 구분에서 두드러진다.
• SSL은 파싱 출력이 그럴듯한 인간 바디 구성과 더 잘 맞도록 도와 구조 무시적 방법에서 관찰된 비합리적 결과를 해결한다.
• SSL 신호는 기존 아키텍처(예: Attention to Scale, DeepLabV2)에 최소한의 아키텍처 변경과 추가 관절 주석 없이 주입될 수 있다.