[論文レビュー] Semi-supervised Skin Detection by Network with Mutual Guidance

Yi He, Jiayuan Shi+6 more|arXiv (Cornell University)|Aug 6, 2019

Video Surveillance and Tracking Methods参考文献 35被引用数 5

ひとこと要約

本稿では、相互ガイドランスを用いた二重タスクニューラルネットワークを提案し、皮膚と人体の両方を同時に検出する半教師あり学習手法を提示する。この手法により、大規模なラベル付き皮膚マスクデータを必要とせずに、皮膚検出の精度が著しく向上する。本手法は人体セグメンテーションを弱い監督信号として活用し、新規の半教師あり損失関数と勾配停止戦略を用いることで、提案されたデータセットで81.18%のIoUを達成し、最先端の性能を実現する。

ABSTRACT

In this paper we present a new data-driven method for robust skin detection from a single human portrait image. Unlike previous methods, we incorporate human body as a weak semantic guidance into this task, considering acquiring large-scale of human labeled skin data is commonly expensive and time-consuming. To be specific, we propose a dual-task neural network for joint detection of skin and body via a semi-supervised learning strategy. The dual-task network contains a shared encoder but two decoders for skin and body separately. For each decoder, its output also serves as a guidance for its counterpart, making both decoders mutually guided. Extensive experiments were conducted to demonstrate the effectiveness of our network with mutual guidance, and experimental results show our network outperforms the state-of-the-art in skin detection.

研究の動機と目的

• 深層学習ベースの皮膚検出に必要な大規模なラベル付き皮膚マスクの収集コストを低減すること。
• 人体セグメンテーションを弱い意味的ガイドとして活用することで、皮膚検出の性能を向上させること。
• 部分的な正解ラベルしか利用できない状況下でも、皮膚と人体検出の共同学習が可能な半教師あり学習戦略を開発すること。
• 皮膚と人体のデコーダー間の相互ガイドランスが、検出のロバスト性と精度を向上させることを示すこと。
• 今後の研究を支援するため、5,000枚の皮膚マスクと5,711枚の人体マスクを含む新規データセットを公開すること。

提案手法

• 共有エンコーダと、皮膚検出と人体検出のそれぞれに特化した別々のデコーダを備えた二重タスクニューラルネットワーク。
• 各デコーダの出力が、もう一方のデコーダのガイド信号として使用され、再帰的な相互ガイドランスループを形成する。
• 皮膚または人体の正例ラベルのみを含む訓練サンプルを処理するための新規の半教師あり損失関数を設計する。
• 訓練中に自明な解への収束を防ぐために、勾配停止を適用する。
• 皮膚と人体のブランチを交互に最適化する独自の訓練戦略を用いてモデルを訓練する。
• バックボーンは柔軟に設計されており、U-NetとMobileNetを用いたDeepLab-v3を用いた消去実験も実施している。

実験結果

リサーチクエスチョン

• RQ1 人体セグメンテーションマスクは、皮膚検出性能の向上に有効な弱い監督として機能するか？
• RQ2 皮膚と人体検出ブランチ間の相互ガイドランスは、モデルのロバスト性と精度をどのように向上させるか？
• RQ3 部分的な正解ラベルしか利用できない状況で、効果的な半教師あり学習を実現するための訓練戦略は何か？
• RQ4 勾配停止は、相互ガイドランスフレームワーク内での自明な局所最適解への収束をどのように防ぐか？
• RQ5 初期ガイド（例：GMM やバウンディングボックス）が、訓練の安定性と最終的な性能に与える影響はどの程度か？

主な発見

• 提案手法は、提案されたデータセットで81.18%のIoUを達成し、最先端の手法を上回る性能を示した。
• 相互ガイドランスを有効化した場合、相互ガイドランスなしのベースラインと比較して、IoUが3.87%向上した。
• 1,000枚の皮膚サンプルのみで学習させた場合でも、不均衡なデータセットでも75.15%のIoUを維持し、強力な性能を発揮した。
• 勾配停止により、自明な解への収束リスクが低減され、再現率は向上しながらも、高い正確率を維持した。
• GMM やバウンディングボックスからの情報豊富な初期ガイドを提供することで、性能が80.74%のIoUに向上し、ゼロ初期化のベースラインを上回った。
• 微調整により、検証用IoUがさらに向上し、この半教師あり設定においてトランスファーラーニングの利点を確認した。