[論文レビュー] Face Parsing via Recurrent Propagation

Sifei Liu, Jianping Shi+2 more|arXiv (Cornell University)|Aug 6, 2017

Face recognition and analysis参考文献 25被引用数 8

ひとこと要約

本稿では、浅い畳み込みニューラルネットワーク（CNN）と空間的に可変な再帰ニューラルネットワーク（RNN）を組み合わせた軽量な顔分割フレームワークを提案する。このRNNにより、意味的エッジに従ってグローバルなラベル伝搬が可能となり、単一GPU上で300 FPSのリアルタイム性能を達成しながら、最新の手法を上回る精度と効率性を実現する。特に、2段階のアプローチにより、細分化された顔部品（例：目、眉毛）の処理において顕著な向上を示す。

ABSTRACT

Face parsing is an important problem in computer vision that finds numerous applications including recognition and editing. Recently, deep convolutional neural networks (CNNs) have been applied to image parsing and segmentation with the state-of-the-art performance. In this paper, we propose a face parsing algorithm that combines hierarchical representations learned by a CNN, and accurate label propagations achieved by a spatially variant recurrent neural network (RNN). The RNN-based propagation approach enables efficient inference over a global space with the guidance of semantic edges generated by a local convolutional model. Since the convolutional architecture can be shallow and the spatial RNN can have few parameters, the framework is much faster and more light-weighted than the state-of-the-art CNNs for the same task. We apply the proposed model to coarse-grained and fine-grained face parsing. For fine-grained face parsing, we develop a two-stage approach by first identifying the main regions and then segmenting the detail components, which achieves better performance in terms of accuracy and efficiency. With a single GPU, the proposed algorithm parses face images accurately at 300 frames per second, which facilitates real-time applications.

研究の動機と目的

• 深層CNNベースの顔分割手法が抱える高い計算コストとメモリ要件を軽減すること。
• 精度を損なわず、顔分割におけるリアルタイム推論を可能にすること。
• 標準モデルで十分に表現されない小さな細分化された顔部品（例：目、眉毛）のパースング性能を向上させること。
• モデルの複雑さとパラメータ数を削減しながらも、高い分類精度を維持すること。
• 局所的でバランスの取れた学習を可能にする、効率的な2段階フレームワークを構築すること。

提案手法

• 局所的特徴を抽出し、ラベル伝搬をガイドするための意味的エッジマップを生成するために、浅いCNNを用いる。
• 空間的に可変なRNNを導入し、再帰ゲートが局所的な一貫性に基づいて伝搬強度を動的に制御することで、最小限のパラメータでグローバルな推論を実現する。
• RNNモジュールは、ラベルが一貫する領域における冗長な空間的情報を活用して、画像全体にわたる予測ラベルを伝搬する。
• 細分化されたパースングを向上させるために、2段階のアプローチを採用する：まず、全ネットワークを用いて顔の主要領域を分類し、次に、クロップされた顔部領域を軽量なサブネットワークで処理することで、小さな部品の精度を向上させる。
• 空間的に可変なゲートは、浅いCNNの低レベルおよびミドルレベル特徴に基づいて、エンドツーエンドで学習される。
• 全フレームワークはエンドツーエンドで学習され、11クラスの分類において単一GPUで300 FPSの推論速度を達成する。

実験結果

リサーチクエスチョン

• RQ1 計算コストを低減しつつ、高い精度を維持する軽量でリアルタイムな顔分割モデルを設計可能か？
• RQ2 空間的に可変な再帰的伝搬は、標準的なRNNやCRFの後処理と比較して、グローバルなラベル一貫性をどの程度向上させるか？
• RQ3 2段階のネットワークアーキテクチャは、1つの統合モデルと比較して、小さな細分化された顔部品のパースング精度を顕著に向上させるか？
• RQ4 2段階目のクロップされたサブ領域を用いることで、詳細な顔部品の学習効率と精度はどの程度向上するか？
• RQ5 最新のCNNベースの顔分割ネットワークと比較して、本手法の速度と精度はどの程度か？

主な発見

• 提案されたRNN-Gモデルは、HELENデータセットで全体のF-measureが88.6%を達成し、先行研究の手法と比較して20%の誤差削減を実現した。
• 2段階アプローチにより、細分化された部品のパフォーマンスが向上し、目では86.8%のF-measure、眉毛では77.0%を達成した。これは1段階モデルの63.3%および53.7%と比較して顕著な向上である。
• モデルは単一GPU上で11クラス分類において300 FPSで顔画像を処理でき、リアルタイムアプリケーションに適している。
• 学習されたゲートを備えた空間的に可変なRNNは、標準的なRNNやベースラインCNNを上回り、ガイド付きで適応的な伝搬の有効性を示した。
• 2段階手法により、全体のネットワークの複雑さが低減され、クロップ領域内のピクセル分布のバランスを取ることで、小さな顔部品のパフォーマンスが向上した。
• 本フレームワークは、同等の精度を持つ深層CNNベースの顔分割モデルと比較して、100〜300倍速く、かつはるかに小型である。