[논문 리뷰] Self-Correction for Human Parsing

Peike Li, Yunqiu Xu외 2명|arXiv (Cornell University)|2019. 10. 22.

Multimodal Machine Learning Applications인용 수 48

한 줄 요약

본 논문은 Self-Correction for Human Parsing (SCHP)을 도입합니다. 이는 Augmented-CE2P (A-CE2P)를 기반으로 한 온라인 모델 통합 및 라벨 정제 프레임워크로, 사람 파싱의 노이즈 픽셀 수준 라벨을 다루며 LIP와 Pascal-Person-Part 데이터셋에서 최첨단 결과를 달성합니다.

ABSTRACT

Labeling pixel-level masks for fine-grained semantic segmentation tasks, e.g. human parsing, remains a challenging task. The ambiguous boundary between different semantic parts and those categories with similar appearance usually are confusing, leading to unexpected noises in ground truth masks. To tackle the problem of learning with label noises, this work introduces a purification strategy, called Self-Correction for Human Parsing (SCHP), to progressively promote the reliability of the supervised labels as well as the learned models. In particular, starting from a model trained with inaccurate annotations as initialization, we design a cyclically learning scheduler to infer more reliable pseudo-masks by iteratively aggregating the current learned model with the former optimal one in an online manner. Besides, those correspondingly corrected labels can in turn to further boost the model performance. In this way, the models and the labels will reciprocally become more robust and accurate during the self-correction learning cycles. Benefiting from the superiority of SCHP, we achieve the best performance on two popular single-person human parsing benchmarks, including LIP and Pascal-Person-Part datasets. Our overall system ranks 1st in CVPR2019 LIP Challenge. Code is available at https://github.com/PeikeLi/Self-Correction-Human-Parsing.

연구 동기 및 목표

• Fine-grained human parsing에서의 노이즈가 있는 픽셀 수준 주석에 대한 동기 부여.
• 라벨을 공동으로 정제하고 모델을 개선하는 self-correction 메커니즘 제안.
• 경계 정보를 더 잘 활용하기 위한 증강 아키텍처(A-CE2P) 개발.
• LIP 및 Pascal-Person-Part에서 강력한 제거 실험으로 최첨단 성능 시연.

제안 방법

• L_consistent 항을 통해 파싱과 경계 일관성을 명시적으로 강제하는 Augmented-CE2P (A-CE2P) 프레임워크.
• 복합 손실: L_parsing = L_cls + L_mIoU (IoU 최적화의 대리 손실).
• 일치성 제약 L_consistent는 예측 경계를 파싱 출력과 정렬시킴.
• Self-Correction for Human Parsing (SCHP): 학습 주기 전반의 온라인 모델 집계 및 온라인 의사 라벨 정제.
• warm restarts가 있는 코사인 감소 주기의 학습률로 반복적 개선 촉진.
• Algorithm 1의 온라인 모델 집계(가중치 평균화) 및 라벨 정제(의사 라벨 평균화) 구현.

실험 결과

연구 질문

• RQ1 SCHP가 라벨 노이즈를 공동으로 정제하고 모델을 개선함으로써 미세한 인간 파싱에서 노이즈를 완화할 수 있는가?
• RQ2 A-CE2P 아키텍처와 SCHP가 표준 벤치마크에서 최첨단 mIoU를 달성하는가?
• RQ3 모델 집계와 라벨 정제가 전체 성능에 어떤 기여를 하는가?
• RQ4 경계 일관성 및 IoU 중심 손실이 파싱 성능과 경계 정확도에 어떤 영향을 미치는가?

주요 결과

방법	mIoU
A-CE2P w/o SCHP	56.88
A-CE2P w/ SCHP	58.62
A-CE2P w/ SCHP †	59.36
A-CE2P w/o SCHP (Pascal)	70.63
A-CE2P w/ SCHP (Pascal)	71.46
A-CE2P w/ SCHP † (Pascal)	71.46

• SCHP는 LIP에서 mIoU 59.36으로 새로운 최첨단을 달성합니다(표 1, SCHP가 마지막 행).
• LIP에서 SCHP는 CE2P 기본값 대비 6.26포인트의 mIoU 증가를 보입니다(본문에 기술).
• Pascal-Person-Part에서 SCHP는 테스트 시 늘리기를 통해 mIoU를 71.46으로 향상시킵니다.
• 모델 집계(MA)와 라벨 정제(LR) 모두 이득에 기여하며, 이 둘의 결합이 최상의 결과를 제공합니다.
• A-CE2P 프레임워크는 다른 백본 및 컨텍스트 모듈(PSP/ASPP/OCNet)에서도 SCHP로 일관되게 이익을 얻습니다.
• 정성적 시각화는 의사 라벨이 사이클이 거듭될수록 더 매끄럽고 경계와 더 잘 정렬됨을 보여줍니다.