[論文レビュー] Face Parsing with RoI Tanh-Warping

Jinpeng Lin, Hao Yang+4 more|arXiv (Cornell University)|Jun 4, 2019

Face recognition and analysis参考文献 35被引用数 6

ひとこと要約

本論文は、顔の内側部（目、眉毛、鼻、口）と髪の領域を同時にセグメンテーションするための新規なRoI Tanhワープ演算子とハイブリッドCNNアーキテクチャを提案する。中央視覚（顔の部位に注目）と周辺視覚（髪の文脈を捉える）を組み合わせることで、予測不能な髪の領域においてもセグメンテーション精度が向上し、エンドツーエンド学習と40ms/顔の高速推論を実現した。HELENおよびLFW-PLベンチマークで最先端の性能を達成した。

ABSTRACT

Face parsing computes pixel-wise label maps for different semantic components (e.g., hair, mouth, eyes) from face images. Existing face parsing literature have illustrated significant advantages by focusing on individual regions of interest (RoIs) for faces and facial components. However, the traditional crop-and-resize focusing mechanism ignores all contextual area outside the RoIs, and thus is not suitable when the component area is unpredictable, e.g. hair. Inspired by the physiological vision system of human, we propose a novel RoI Tanh-warping operator that combines the central vision and the peripheral vision together. It addresses the dilemma between a limited sized RoI for focusing and an unpredictable area of surrounding context for peripheral information. To this end, we propose a novel hybrid convolutional neural network for face parsing. It uses hierarchical local based method for inner facial components and global methods for outer facial components. The whole framework is simple and principled, and can be trained end-to-end. To facilitate future research of face parsing, we also manually relabel the training data of the HELEN dataset and will make it public. Experiments on both HELEN and LFW-PL benchmarks demonstrate that our method surpasses state-of-the-art methods.

研究の動機と目的

• 従来のクイック・リサイズ手法では周辺文脈が失われるため、顔の内側部と髪の領域を同時に正確にセグメンテーションする課題に対処すること。
• 固定サイズのRoIクロッピングでは、顔の外縁を越えて広がる予測不能な髪領域を捉えることができないという制限を克服すること。
• 顔の部位同士の空間的関係と周囲の文脈を活用する統合的でエンドツーエンドで学習可能なフレームワークを構築すること。
• 手動による再ラベル付けを通じて、特に髪のアノテーションの正確性を高めた、既存の顔セグメンテーションデータセット（HELENトレーニングセット）の品質向上を図ること。

提案手法

• 全画像を固定サイズの出力に非線形的にマップするRoI Tanhワープ演算子を提案。中央の顔領域を強調しつつ、周辺の文脈を保持する。
• ワープされた画像を入力として、RoIアライメントを用いて領域固有の特徴を抽出する、マスクR-CNN風のブランチを適用。
• 髪や背景を含む外側の部位のセグメンテーションマスクを予測するため、完全畳み込みネットワーク（FCN）ブランチを用いる。
• 各内側顔部位に対して別々の非共有セグメンテーションヘッドを採用し、タスク固有の特徴を保持することで精度を向上させる。
• 予測されたマスクを元の画像空間に正確にマッピングするために、デワープステップを統合。
• データオーグメンテーションとHELENでのラベル精錬を併用し、クロスエントロピー損失とDice損失を用いてエンドツーエンドでモデルを学習。

実験結果

リサーチクエスチョン

• RQ1 統合的ディープラーニングフレームワークは、局所的に集中する顔の部位と、広範に広がる髪領域を同時に効果的にセグメンテーションできるか？
• RQ2 標準的なクロッピングと比較して、非線形的ワープ処理による周辺文脈の統合が、セグメンテーション性能にどのように寄与するか？
• RQ3 RoIベースと完全畳み込みブランチを組み合わせたハイブリッドアーキテクチャは、純粋なFCNまたはR-CNNベースの設計を上回る性能を発揮するか？
• RQ4 内側部位に非共有セグメンテーションヘッドを用いることで、重み共有よりも高い性能が得られるか？
• RQ5 本手法は、実世界の画像におけるポーズ変化、被覆、および密に配置された複数顔の状況に対して、どれほど頑健か？

主な発見

• 本手法は、HELENおよびLFW-PLベンチマークで最先端の性能を達成し、Fスコアと全体の正確性において、従来手法を上回った。
• RoI Tanhワープは髪領域セグメンテーションのFスコアを88.8まで向上させ、標準クロッピング（85.0）や大規模クロップ（83.8–84.5）を上回った。
• ハイブリッドアーキテクチャは全体のFスコア93.1を達成し、純粋なFCN（89.4）やマスクR-CNN（84.9）のベースラインを顕著に上回った。
• 内側部位に別々のセグメンテーションヘッドを採用した場合（93.1）は、共有ヘッド（92.7）よりも優れた結果を示し、タスク固有の特徴学習の利点を裏付けた。
• 本モデルは実環境の状況にも良好に一般化でき、複数顔の区別やポーズ、表情、被覆の変化に対応できた。
• Titan Xp GPU上では1顔あたり40msで実行可能であり、リアルタイム応用に適した高い効率性を示した。