[論文レビュー] Domain adaptation for holistic skin detection

Aloisio Dourado, Frederico Guth+2 more|arXiv (Cornell University)|Mar 16, 2019

Video Surveillance and Tracking Methods参考文献 53被引用数 7

ひとこと要約

本稿では、U-Netベースの完全畳み込みネットワーク（FCN）を用いた包括的皮膚検出のため、転移学習と偽ラベル付けを組み合わせた新規ドメイン適応戦略を提案する。この戦略は、ターゲットドメインに最小限または完全にラベルなしのデータがある場合でも、包括的CNNが局所的パッチベース手法を上回ることを示している。本手法は、クリーンなデータセットでは最先端のピクセルベース手法よりも最大73%高いF1スコアを達成し、ドメイン間シナリオにおいても顕著な向上（13–60%）を示しており、CNNの一般化性能やリアルタイム性能に関する一般的な批判に挑戦する。

ABSTRACT

Human skin detection in images is a widely studied topic of Computer Vision for which it is commonly accepted that analysis of pixel color or local patches may suffice. This is because skin regions appear to be relatively uniform and many argue that there is a small chromatic variation among different samples. However, we found that there are strong biases in the datasets commonly used to train or tune skin detection methods. Furthermore, the lack of contextual information may hinder the performance of local approaches. In this paper we present a comprehensive evaluation of holistic and local Convolutional Neural Network (CNN) approaches on in-domain and cross-domain experiments and compare with state-of-the-art pixel-based approaches. We also propose a combination of inductive transfer learning and unsupervised domain adaptation methods, which are evaluated on different domains under several amounts of labelled data availability. We show a clear superiority of CNN over pixel-based approaches even without labelled training samples on the target domain. Furthermore, we provide experimental support for the counter-intuitive superiority of holistic over local approaches for human skin detection.

研究の動機と目的

• 皮膚検出において深層CNNが大量のラベル付きデータを必要とするという一般的な批判に対処するため、ターゲットドメインに最小限またはラベルなしのデータがある状況でも有効なドメイン適応戦略を提案すること。
• 多様なデータセットを対象に、包括的（FCN/U-Net）と局所的（パッチベース）のCNNアプローチを皮膚セグメンテーションにおいて評価・比較すること。
• ピクセルベースの色モデルが皮膚検出において深層学習を上回るとされる一般的な信念に挑戦し、特にドメイン間設定においてその有効性を検証すること。
• 既存の皮膚検出データセットの一般化能力と、ドメインシフトを緩和するための非教師付きドメイン適応の有効性を評価すること。

提案手法

• インダクティブな転移学習（ImageNetからの微調整）と偽ラベル付けを組み合わせ、ラベルなしのターゲットドメインデータに対して合成ラベルを生成する。
• 包括的FCNベースのセグメンテーションモデルとしてU-Netアーキテクチャを採用し、フル画像の文脈理解を可能にするとともに、パッチベース手法よりも高速な推論を実現する。
• ソースデータセットで学習し、偽ラベル付きサンプルを用いてターゲットデータセットに適応することで、ドメイン間シナリオにおけるドメイン適応を実施する。
• 2段階の訓練プロセスを採用：まずImageNetで事前学習し、次にソースドメインデータで微調整した後、ターゲットドメインデータで偽ラベル付けを行い、最小限のラベル付き例を用いて再訓練する。
• SFA、Pratheepan、VPU、LFWの4つのベンチマークデータセットを用いて、ラベル付きターゲットデータの割合を変化させた状況下でF1スコアを評価する。
• 分布シフトの評価にメトリックベースのアプローチを採用し、負の転送を回避することを目的とする。

実験結果

リサーチクエスチョン

• RQ1 包括的FCNベースのアプローチは、特にドメイン間条件下において、局所的パッチベースCNNよりも皮膚セグメンテーションで優れているか？
• RQ2 転移学習と偽ラベル付けの組み合わせは、ターゲットドメインにラベル付きデータが不足または欠落している状況でも、皮膚検出性能を顕著に向上させられるか？
• RQ3 最先端のピクセルベース皮膚検出手法と深層学習ベースのアプローチを、F1スコアと多様なデータセットへの一般化性能の観点から比較するとどうなるか？
• RQ4 CNNに関する一般的な批判（一般化性能が悪い、推論時間が長い）は、現実世界の皮膚検出シナリオにおいて、真実であると言えるか？

主な発見

• U-Netベースの包括的FCNアプローチは、最先端のピクセルベース手法よりも平均で30%高いF1スコアを達成し、クリーンなSFAデータセットでは73%の向上を示した。
• ラベルなしのターゲットデータを想定したドメイン間設定において、本手法はSFAデータセットではピクセルベース手法よりも60%高いF1スコアを達成し、Pratheepanデータセットでは13%の向上を示した。
• 包括的FCNアプローチは、GTX-1080Tiで1フレームあたり80msの推論時間を達成し、1秒間に12.5フレームの処理が可能であり、リアルタイム応用に適している。これは、CNNの推論速度に関する一般的な批判とは対照的である。
• 本研究では、包括的アプローチが、後者を完全に教師付きで学習させた場合でさえも、局所的パッチベース手法を上回ることを示しており、文脈モデリングが皮膚検出においてより効果的であることを示唆している。
• 転移学習と偽ラベル付けの組み合わせは、すべてのドメインで性能向上をもたらし、ターゲットデータの10%しかラベルが付いていなくてもその恩恵が持続した。
• 結果から、CNNの一般化失敗は本質的ではないことが示唆され、本手法はドメインシフトが大きいデータセットを含め、多様なデータセットに良好に一般化している。