[논문 리뷰] Domain adaptation for holistic skin detection

Aloisio Dourado, Frederico Guth외 2명|arXiv (Cornell University)|2019. 03. 16.

Video Surveillance and Tracking Methods참고 문헌 53인용 수 7

한 줄 요약

이 논문은 U-Net 기반의 완전 컨volution 네트워크(FCN)를 사용한 통합 피부 검출을 위한 새로운 도메인 적응 전략을 제안하며, 전이 학습과 가짜 레이블링을 결합하여, 목표 도메인에서 최소 또는 전혀 레이블이 없는 경우에도 통합 컨volution 네트워크가 국소 패치 기반 방법보다 우수한 성능을 내는 것으로 입증한다. 이 방법은 깔끔한 데이터셋에서 최신 픽셀 기반 방법보다 최대 73% 높은 F1 스코어를 기록하며, 도메인 간 시나리오에서도 상당한 성능 향상(13–60%)을 유지하여, CNN의 일반화 능력과 실시간 성능에 대한 일반적인 비판에 도전한다.

ABSTRACT

Human skin detection in images is a widely studied topic of Computer Vision for which it is commonly accepted that analysis of pixel color or local patches may suffice. This is because skin regions appear to be relatively uniform and many argue that there is a small chromatic variation among different samples. However, we found that there are strong biases in the datasets commonly used to train or tune skin detection methods. Furthermore, the lack of contextual information may hinder the performance of local approaches. In this paper we present a comprehensive evaluation of holistic and local Convolutional Neural Network (CNN) approaches on in-domain and cross-domain experiments and compare with state-of-the-art pixel-based approaches. We also propose a combination of inductive transfer learning and unsupervised domain adaptation methods, which are evaluated on different domains under several amounts of labelled data availability. We show a clear superiority of CNN over pixel-based approaches even without labelled training samples on the target domain. Furthermore, we provide experimental support for the counter-intuitive superiority of holistic over local approaches for human skin detection.

연구 동기 및 목표

• 피부 검출을 위해 깊은 CNN이 대량의 레이블 데이터가 필요하다는 일반적인 비판에 대응하기 위해, 목표 도메인에서 레이블 데이터가 적거나 전혀 없을 경우에도 효과적인 도메인 적응 전략을 제안한다.
• 다양한 데이터셋에서 통합(FCN/U-Net) 및 국소(패치 기반) CNN 접근 방식의 피부 분할 성능을 평가하고 비교한다.
• 특히 도메인 간 설정에서 픽셀 기반 색상 모델이 딥 러닝보다 우수하다는 일반적인 믿음을 도전한다.
• 기존 피부 검출 데이터셋의 일반화 능력과 무 supervision 도메인 적응이 도메인 이동을 완화하는 데 얼마나 효과적인지 평가한다.

제안 방법

• 인도크티브 전이 학습(이미지넷에서의 프리트레인)과 가짜 레이블링을 결합하여, 레이블이 없는 목표 도메인 데이터에 대해 합성 레이블을 생성한다.
• 통합 FCN 기반 분할 모델로 U-Net 아키텍처를 사용하여 전체 이미지의 맥락을 이해하고 패치 기반 방법보다 빠른 추론을 가능하게 한다.
• 가짜 레이블링을 활용해 소스 데이터셋에서 학습하고 목표 데이터셋으로 적응하는 방식으로 도메인 간 시나리오에서 도메인 적응을 적용한다.
• 두 단계 학습 프로세스를 사용한다: 먼저 이미지넷에서 프리트레인하고, 그 다음 소스 도메인 데이터에서 파인튜닝한 후, 최소한의 레이블 예제를 사용하여 가짜 레이블링 및 재학습을 수행한다.
• SFA, Pratheepan, VPU, LFW 네 가지 벤치마크 데이터셋에서 다양한 레이블링 수준의 목표 도메인 데이터를 대상으로 F1 스코어를 사용해 성능을 평가한다.
• 음성 전이를 방지하기 위해 소스 도메인과 목표 도메인 간의 분포 이동을 평가하기 위해 메트릭 기반 접근 방식을 사용한다.

실험 결과

연구 질문

• RQ1 특히 도메인 간 조건에서 통합 FCN 기반 접근 방식이 국소 패치 기반 CNN보다 피부 분할 성능에서 뛰어나게 되는가?
• RQ2 레이블이 적거나 없는 목표 도메인에서 전이 학습과 가짜 레이블링의 조합이 피부 검출 성능을 크게 향상시킬 수 있는가?
• RQ3 최신 픽셀 기반 피부 검출 방법과 딥 러닝 기반 접근 방식 간의 F1 스코어 및 다양한 데이터셋에서의 일반화 능력 측면에서의 비교는 어떻게 되는가?
• RQ4 피부 검출의 실제 시나리오에서 CNN의 일반화 능력 부족과 높은 추론 시간이라는 일반적인 비판이 얼마나 타당한가?

주요 결과

• U-Net 기반의 통합 FCN 접근 방식은 최신 픽셀 기반 방법 대비 평균 F1 스코어에서 30% 향상되었으며, 깔끔한 SFA 데이터셋에서는 73% 향상되었다.
• 레이블이 전혀 없는 도메인 간 설정에서, 제안된 도메인 적응 방법은 동질적인 SFA 데이터셋에서 픽셀 기반 방법 대비 F1 스코어를 60% 향상시켰고, 이질적인 Pratheepan 데이터셋에서는 13% 향상되었다.
• 통합 FCN 접근 방식은 GTX-1080Ti에서 프레임당 80ms의 예측 시간을 기록하여 12.5 프레임/초를 달성했으며, 이는 실시간 응용에 적합하다. 이는 일반적으로 CNN의 추론 속도가 느리다는 비판을 뒷받침하지 못한다.
• 연구 결과, 국소 패치 기반 방법이 완전한 감독 하에 훈련된 경우조차도 통합 접근 방식이 더 뛰어난 성능을 내는 것으로 나타나, 맥락 모델링이 피부 검출에 더 효과적임을 시사한다.
• 전이 학습과 가짜 레이블링의 조합은 모든 도메인에서 성능 향상을 크게 이끌었으며, 목표 데이터의 10%만 레이블이 있더라도 성능 향상이 지속되었다.
• 결과적으로, CNN의 일반화 실패가 본질적인 문제라는 것은 아니며, 이 방법은 고도로 도메인 이동이 있는 다양한 데이터셋 간에도 잘 일반화됨을 시사한다.