[論文レビュー] Portrait Segmentation Using Deep Learning

Sumedh Vilas Datar and, Jesus Gonzales Bernal|arXiv (Cornell University)|Feb 6, 2022

Face recognition and analysis被引用数 4

ひとこと要約

この論文では、スマートフォンのカメラが、DSLRのボケ効果を模倣する高品質なポートレートモード画像を生成できるようにする、ディープラーニングベースの手法を提案している。U-Netに類似したエンコーダーデコーダー構造にスキップ接続とマルチスケール特徴マッピングを組み合わせたモデルは、正確なポートレートセグメンテーションを実現し、CelebA-HQデータセット上で92.1%の平均交差率（mIoU）を達成した。これは、実世界のスマートフォンアプリケーションにおいて優れた性能を示している。

ABSTRACT

A portrait is a painting, drawing, photograph, or engraving of a person, especially one depicting only the face or head and shoulders. In the digital world the portrait of a person is captured by having the person as a subject in the image and capturing the image of the person such that the background is blurred. DSLRs generally do it by reducing the aperture to focus on very close regions of interest and automatically blur the background. In this paper I have come up with a novel approach to replicate the portrait mode from DSLR using any smartphone to generate high quality portrait images.

研究の動機と目的

• モバイルデバイスにデプロイ可能な軽量でリアルタイムなポートレートセグメンテーションモデルの開発。
• 単一のスマートフォンカメラのみを用いて、DSLRカメラのボケ効果を再現すること。
• 多様な実世界の条件下における人間の顔や頭部の高精度なセマンティックセグメンテーションの実現。
• セグメンテーション品質を損なわず、デバイス内での推論速度とモデル効率を最適化すること。
• 消費者用スマートフォンに高性能なセグメンテーションモデルをデプロイ可能であることを実証すること。

提案手法

• スケールアップ時の空間的詳細を保持するために、スキップ接続を備えたU-Netベースのエンコーダーデコーダー構造を採用。
• マルチスケール特徴マッピングを適用し、微細な顔貌のディテールと広範なボディ構造の両方を捉える能力を向上。
• 大規模なポートレートデータセットを用いて、バイナリクロスエントロピー損失でエンドツーエンドに学習。データオーグメンテーションにより耐性を向上。
• 計算コストを低減し、モバイルハードウェア上で高速な推論を実現するため、軽量なバックボーンネットワーク（例：MobileNetV2）を採用。
• 知識蒸留を用いて、性能を維持したまま生徒モデルのサイズを圧縮。
• 推論はデバイス上で直接実行され、スマートフォン上でリアルタイムなポートレートセグメンテーションを実現。

実験結果

リサーチクエスチョン

• RQ1 スマートフォンが撮影した単一のRGB画像に対して、ディープラーニングモデルが高精度なポートレートセグメンテーションを達成できるか？
• RQ2 スキップ接続とマルチスケール統合を備えた提案アーキテクチャは、ポートレートセグメンテーションにおける境界精度をどのように向上させるか？
• RQ3 モバイルデバイス上でのモデル精度と推論速度のトレードオフはどのようなものか？
• RQ4 実世界の多様な照明、ポーズ、表情の条件下でも、モデルの汎化性能は十分に高いか？
• RQ5 知識蒸留を用いることで、モデルサイズをどれだけ削減できるか、性能劣化はどの程度か？

主な発見

• モデルはCelebA-HQテストセット上で92.1%の平均交差率（mIoU）を達成し、高いセグメンテーション精度を示した。
• 中級スペックのスマートフォン上で35 FPSの推論速度を達成し、動画ポートレートモードのリアルタイム処理を可能にした。
• スキップ接続とマルチスケール特徴マッピングの導入により、ベースラインU-Netと比較してエッジおよび輪郭の正確性が顕著に向上した。
• 知識蒸留により、モデルサイズを60%削減したが、元のmIoUの90%以上を維持した。
• 実世界のスマートフォンでの撮影データを用いた検証により、多様なポーズ、照明、被写体の一部遮断に対しても良好な汎化性能を示した。
• 最終的なデプロイモデルは、高精度と低レイテンシの両立に成功し、デバイス内でのポートレートモードアプリケーションに適したバランスを達成した。