[논문 리뷰] Semi-supervised Skin Detection by Network with Mutual Guidance

Yi He, Jiayuan Shi외 6명|arXiv (Cornell University)|2019. 08. 06.

Video Surveillance and Tracking Methods참고 문헌 35인용 수 5

한 줄 요약

이 논문은 상호 지도 기반 디코더 간의 상호 보완을 통해 풍경 이미지에서 피부와 인간의 몸을 동시에 검출하는 준지도 학습 이중 작업 신경망을 제안한다. 이는 대규모 레이블이 부여된 피부 데이터가 필요로 하지 않으면서도 피부 검출 정확도를 크게 향상시킨다. 이 방법은 몸 분할을 약한 지도로 활용하여, 새로운 준지도 학습 손실 함수와 기울기 정지 전략을 통해 최신 기술 수준의 성능을 달성하며, 제안된 데이터셋에서 81.18% IoU를 기록한다.

ABSTRACT

In this paper we present a new data-driven method for robust skin detection from a single human portrait image. Unlike previous methods, we incorporate human body as a weak semantic guidance into this task, considering acquiring large-scale of human labeled skin data is commonly expensive and time-consuming. To be specific, we propose a dual-task neural network for joint detection of skin and body via a semi-supervised learning strategy. The dual-task network contains a shared encoder but two decoders for skin and body separately. For each decoder, its output also serves as a guidance for its counterpart, making both decoders mutually guided. Extensive experiments were conducted to demonstrate the effectiveness of our network with mutual guidance, and experimental results show our network outperforms the state-of-the-art in skin detection.

연구 동기 및 목표

• 딥러닝 기반 피부 검출을 위한 대규모 레이블이 부여된 피부 마스크 수집의 높은 비용 문제를 해결하기 위해.
• 인간의 몸 분할을 약한 의미적 지도로 활용하여 피부 검출 성능을 향상시키기 위해.
• 부분적인 진짜 마스크가 존재할 경우에도 효과적인 이중 학습을 가능하게 하는 준지도 학습 전략을 개발하기 위해.
• 피부 및 몸 디코더 간의 상호 지도 기반 구조가 검출의 강건성과 정확도를 향상시키는지 확인하기 위해.
• 향후 연구를 지원하기 위해 5,000개의 피부 마스크와 5,711개의 몸 마스크를 포함한 새로운 데이터셋을 공개하기 위해.

제안 방법

• 공유 인코더와 피부 및 몸 검출을 위한 별도의 두 개의 디코더를 갖춘 이중 작업 신경망.
• 각 디코더의 출력이 다른 디코더의 지도 신호로 사용되어 순환적인 상호 지도 루프를 형성한다.
• 피부 또는 몸의 진짜 마스크만 포함된 학습 샘플을 처리하기 위해 새로운 준지도 학습 손실 함수를 설계하였다.
• 학습 중에 트ivial한 해에 수렴하는 것을 방지하기 위해 기울기 정지를 적용하였다.
• 피부 및 몸 브랜치를 번갈아 가며 최적화하는 전용 전략을 사용하여 모델을 학습시켰다.
• 백본은 유연하게 설계되었으며, U-Net과 MobileNet 기반의 DeepLab-v3를 사용한 추론 실험을 수행하였다.

실험 결과

연구 질문

• RQ1 몸 분할 마스크가 피부 검출 성능 향상에 효과적인 약한 지도로 기능할 수 있는가?
• RQ2 피부 및 몸 검출 브랜치 간의 상호 지도 기반 구조가 모델의 강건성과 정확도를 어떻게 향상시키는가?
• RQ3 진짜 마스크가 부분적으로만 존재할 경우 효과적인 준지도 학습을 위한 학습 전략은 무엇인가?
• RQ4 기울기 정지는 상호 지도 프레임워크에서 트ivial한 국소 최소값으로 수렴하는 것을 어떻게 방지하는가?
• RQ5 초기 지도(예: GMM 또는 경계 상자)가 학습 안정성과 최종 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 방법은 제안된 데이터셋에서 81.18% IoU를 달성하여 최신 기술 수준의 방법을 초월한다.
• 상호 지도 기반 기능을 활성화한 경우, 상호 지도 기반 없이 학습한 기준 모델 대비 IoU가 3.87% 향상된다.
• 단지 1,000개의 피부 샘플만 존재하는 불균형 데이터셋으로도 학습했을 때 75.15% IoU를 기록하며 강력한 성능 유지를 보였다.
• 기울기 정지는 트ivial한 해에 수렴할 위험을 줄이며, 정밀도를 유지하면서 재현율을 향상시켰다.
• 정보가 풍부한 초기 지도(예: GMM 또는 경계 상자)를 제공하면 성능이 80.74% IoU로 향상되어, 초기화 없이 학습한 기준 모델을 초월한다.
• 피지컬 튜닝을 통해 검증 IoU가 추가로 향상되어, 이 준지도 학습 환경에서 전이 학습의 유용성을 확인할 수 있었다.