[論文レビュー] Skin Segmentation from NIR Images using Unsupervised Domain Adaptation through Generative Latent Search.

Prashant Pandey, Aayush Kumar Tyagi+2 more|arXiv (Cornell University)|Jun 15, 2020

Face recognition and analysis被引用数 8

ひとこと要約

本稿では、ラベルなしNIRデータを必要とせずに、可視赤色チャネル（ソースドメイン）を用いてラベルなしNIR画像における皮膚セグメンテーションのための教師なしドメイン適応手法を提案する。変動自己符号化器（VAE）の潜在空間において、ターゲットNIR画像に最も近い「ニコール（nearest-clone）」を探索することで、有効なドメイン適応が可能となり、2つの新規に作成されたNIR皮膚セグメンテーションデータセットにおいて、最先端のUDA手法を上回る性能を達成する。

ABSTRACT

Segmentation of the pixels corresponding to human skin is an essential first step in multiple applications ranging from surveillance to heart-rate estimation from remote-photoplethysmography. However, the existing literature considers the problem only in the visible-range of the EM-spectrum which limits their utility in low or no light settings where the criticality of the application is higher. To alleviate this problem, we consider the problem of skin segmentation from the Near-infrared images. However, Deep learning based state-of-the-art segmentation techniques demands large amounts of labelled data that is unavailable for the current problem. Therefore we cast the skin segmentation problem as that of target-independent unsupervised domain adaptation (UDA) where we use the data from the Red-channel of the visible-range to develop skin segmentation algorithm on NIR images. We propose a method for target-independent segmentation where the 'nearest-clone' of a target image in the source domain is searched and used as a proxy in the segmentation network trained only on the source domain. We prove the existence of 'nearest-clone' and propose a method to find it through an optimization algorithm over the latent space of a Deep generative model based on variational inference. We demonstrate the efficacy of the proposed method for NIR skin segmentation over the state-of-the-art UDA segmenation methods on the two newly created skin segmentation datasets in NIR domain despite not having access to the target NIR data.

研究の動機と目的

• 特に、このような応用が最も重要な低照度条件下において、近赤外（NIR）画像における皮膚セグメンテーションのためのラベル付きデータの不足に対処する。
• NIR皮膚セグメンテーションにおいては入手不可能であるが、大量のアノテーションデータに依存する既存のディープラーニング手法の制限を克服する。
• 可視スペクトル（赤色チャネル）からNIRドメインへ知識を転送する、ターゲットに依存しない教師なしドメイン適応（UDA）フレームワークを構築する。
• ターゲット（NIR）ドメインに一切のアノテーションを必要とせずに、NIR画像における頑健な皮膚セグメンテーションを可能にする。
• 本手法の有効性を、2つの新規に作成され、公開可能なNIR皮膚セグメンテーションデータセット上で示す。

提案手法

• 可視スペクトル（赤色チャネル）からのラベル付きデータを活用して、ラベルなしNIR画像向けにモデルを学習する、ターゲットに依存しない教師なしドメイン適応（UDA）問題として皮膚セグメンテーションを定式化する。
• 変動自己符号化器（VAE）の潜在空間において、ターゲットNIR画像に最も類似する、ソースドメイン内の合成画像である「ニコール（nearest-clone）」の概念を導入する。
• 再構成誤差と分布的乖離を最小化することで、VAEの潜在空間上でターゲット画像のニコールを最適化して同定する。
• ニコールをセグメンテーションネットワークの代理入力として用い、これは完全にソースドメイン（可視赤色チャネル）でのみ学習されているため、ターゲット（NIR）ドメインへの適応が可能になる。
• やや弱い仮定の下で、潜在空間内にニコールが存在することを理論的に証明し、最適化アプローチの妥当性を保証する。
• セグメンテーションネットワークを、ソースドメイン（可視赤色チャネル）のアノテーションのみで学習し、ニコールの代理入力を介してターゲットドメイン（NIR）画像の予測を推論する。

実験結果

リサーチクエスチョン

• RQ1 可視赤色チャネル画像からのラベル付きデータで学習したソースドメインモデルが、ターゲットドメインのラベルなしNIR画像へ、何らターゲットドメインのアノテーションを用いずに効果的に一般化できるか？
• RQ2 潜在空間最適化を介して、ソースドメイン内に、ターゲットNIR画像に類似する意味のある代理画像（ニコール）を特定することが可能か？
• RQ3 変動自己符号化器（VAE）の潜在空間における、本手法のニコール探索が、既存のUDA手法と比較してNIR画像における皮膚セグメンテーション性能を向上させるか？
• RQ4 ターゲットドメインのラベルにアクセスできない状況でも、本手法は多様な照度および肌色の変動に対してどれほど頑健か？
• RQ5 ターゲットドメインに一切のラベル付きデータが存在しないにもかかわらず、本手法がNIR皮膚セグメンテーションで最先端の性能を達成できるか？

主な発見

• 本手法は、2つの新規に作成されたNIR皮膚セグメンテーションデータセットにおいて、最先端の性能を達成し、既存の教師なしドメイン適応手法を上回る。
• 潜在空間におけるニコールの代理入力の使用により、NIRドメインへの適応が、NIRデータにラベルが一切ない状況でも有効に可能になる。
• 低照度環境における多様な肌色および照度の変動に対しても、本手法は優れた一般化性能を示す。
• VAEの潜在空間におけるニコール探索は、理論的存在的証明と実証的検証の両面から、実行可能かつ有効であることが示された。
• ニコールの代理入力によって誘導されることで、可視赤色チャネルデータのみで学習したセグメンテーションネットワークが、NIR画像へも効果的に一般化する。
• 結果から、潜在空間における代理生成を伴うターゲットに依存しないUDAが、現実の低照度応用におけるNIR皮膚セグメンテーションにおいて、実現可能で強力なアプローチであることが確認された。