[論文レビュー] Real-time Hair Segmentation and Recoloring on Mobile GPUs

Andrei Tkachenka, Gregory Karpiak+5 more|arXiv (Cornell University)|Jul 15, 2019

Image Enhancement Techniques参考文献 4被引用数 8

ひとこと要約

本論文では、時間的整合性を保つために前フレームのマスクを含む4チャンネル入力（RGB + 前フレームマスク）を用いる、モバイルGPUベースの髪の毛セグメンテーションおよびリアルな色変更を実現する軽量でリアルタイムなニューラルネットワークを提示する。この手法は、スマートフォン上で81.0% IOUおよび30～100+ FPSを達成し、生産環境でのスケーラブルな展開が可能な高精細AR髪色効果を実現している。

ABSTRACT

We present a novel approach for neural network-based hair segmentation from a single camera input specifically designed for real-time, mobile application. Our relatively small neural network produces a high-quality hair segmentation mask that is well suited for AR effects, e.g. virtual hair recoloring. The proposed model achieves real-time inference speed on mobile GPUs (30-100+ FPS, depending on the device) with high accuracy. We also propose a very realistic hair recoloring scheme. Our method has been deployed in major AR application and is used by millions of users.

研究の動機と目的

• 深度センサーやグリーンスクリーンを用いずに、ARアプリケーション向けにモバイルGPU上でリアルタイムで高品質な髪の毛セグメンテーションを可能にすること。
• LSTM や深度センサーやを用いずに、動画フレーム間でのセグメンテーションマスクの時間的整合性を保つこと。
• さまざまな髪の色や照明条件に適応できる、現実的で自動化された髪の毛色変更技術を開発すること。
• 多様なデバイスで30+ FPSで動作する、モバイルフレンドリーなモデルを設計すること。
• 消費者向けARアプリケーションにおける仮想髪色変更のためのスケーラブルで生産環境対応のソリューションを構築すること。

提案手法

• 時間的整合性を確保するため、RGB画像と前フレームのセグメンテーションマスクを組み合わせた4チャンネル入力を使用する。
• 大ストライド畳み込みとスキップ接続を備えた変更版アワークラスチャネルアーキテクチャにより、速度と精度が向上し、ベースライン比で5% IOUの向上を達成した。
• E-Netボトルネックを著しく圧縮（16～32倍）することで、品質の著しい損失を伴わず、推論速度が向上した。
• エッジディテールの精緻化を図るため、フル解像度にDenseNet風の層を追加し、知覚的品質が0.5% IOU向上した。
• 2段階の色変更パイプラインを採用し、明るい髪と暗い髪のための参照LUTを用い、入力画像の平均髪色強度に応じて補間することで、現実的な色指定を実現した。
• TFLite GPUを介したエンドツーエンドGPUアクセcelerationを実装し、強度計算とLUT適用のためのカスタムシェーダーを導入した。

実験結果

リサーチクエスチョン

• RQ1 軽量なニューラルネットワークは、モバイルGPU上でリアルタイムに高精度な髪の毛セグメンテーションを達成できるか？
• RQ2 LSTM や深度センサーやを用いずに、動画セグメンテーションで時間的整合性を維持できるか？
• RQ3 最小限の遅延と高いIOUを実現するための最適なアーキテクチャとトレーニング戦略は何か？
• RQ4 多様な髪の色や照明条件にわたって、自動的かつ現実的に髪の色変更を実現できるか？
• RQ5 過去のセグメンテーションマスクを入力コンテキストとして用いることで、フレーム間の一貫性がどの程度向上するか？

主な発見

• 本モデルは、512×512のフルサイズ入力で81.0% IOUを達成し、iPhone XSでは5.7ms、Pixel 3では19msの推論時間であった。
• 小規模モデルバージョン（256×256）は、iPhone XSで1.9msの推論時間で80.2% IOUを達成し、100+ FPSの性能を実現した。
• スキップ接続の追加により、それらを備えないベースラインと比較してIOUが5%向上した。
• フル解像度にDenseNet風の層を追加したことで、わずか0.5% IOUの向上にとどまりつつも、知覚的品質が向上した。
• LUTベースの色変更手法により、多様な髪色と照明条件にわたって一貫性があり現実的な髪色変更が可能になった。
• 本システムは生産環境のARアプリケーションに導入され、数百万のユーザーが利用しており、スケーラビリティと実世界での頑健性を実証した。