[論文レビュー] Real-time Memory Efficient Large-pose Face Alignment via Deep Evolutionary Network

Bin Sun, Ming Shao+2 more|arXiv (Cornell University)|Oct 25, 2019

Face recognition and analysis参考文献 50被引用数 6

ひとこと要約

本稿では、スパARSE 3D Diffusion Heap Maps (DHM) と軽量な CNN-RNN アーキテクチャを用いて、大アングル顔アライメントのためのリアルタイムでメモリ効率の良い深層進化型ネットワークを提案する。従来の回帰手法に代えて反復的なランドマーク座標予測を採用し、因子化畳み込みと高速再帰モジュールを導入することで、最先端のモデルと比較してCPU上で6倍、GPU上で14倍高速な推論を達成した。また、極端なアングル下でも高い精度を維持した。

ABSTRACT

There is an urgent need to apply face alignment in a memory-efficient and real-time manner due to the recent explosion of face recognition applications. However, impact factors such as large pose variation and computational inefficiency, still hinder its broad implementation. To this end, we propose a computationally efficient deep evolutionary model integrated with 3D Diffusion Heap Maps (DHM). First, we introduce a sparse 3D DHM to assist the initial modeling process under extreme pose conditions. Afterward, a simple and effective CNN feature is extracted and fed to Recurrent Neural Network (RNN) for evolutionary learning. To accelerate the model, we propose an efficient network structure to accelerate the evolutionary learning process through a factorization strategy. Extensive experiments on three popular alignment databases demonstrate the advantage of the proposed models over the state-of-the-art, especially under large-pose conditions. Notably, the computational speed of our model is 6 times faster than the state-of-the-art on CPU and 14 times on GPU. We also discuss and analyze the limitations of our models and future research work.

研究の動機と目的

• 大アングル変動下におけるリアルタイムでメモリ効率の良い顔アライメントの課題に対処すること。
• 2D モデルの欠如する見えないランドマークの取り扱いやアングル不変特徴表現の制限を克服すること。
• モバイルおよび組み込みデバイスへのデプロイに向けた計算コストとストレージコストの低減。
• 従来のディープラーニング手法と比較して、極端なアングル条件下でのロバスト性と精度の向上。

提案手法

• 顔の幾何構造をモデル化し、大アングル下での特徴の信頼性を向上させるために、3チャンネルの低チャネル数の3Dに敏感な表現としてスパARSE 3D Diffusion Heap Maps (DHM) を導入する。
• FLOPs とモデルサイズの削減を図るため、効率的な特徴抽出のための軽量なディープ・セパラブル CNN を使用する。
• 時間的・空間的複雑度の低減を目的に、ポイントワイドおよびディープ・セパラブル畳み込みから構成される高速再帰モジュールを、従来の RNN に代えて採用する。
• 各ステップで予測された2次元正規化ランドマーク座標を改善する反復的ランドマーク座標回帰として顔アライメントを定式化する。
• 精度の著しい低下を伴わずに推論速度を向上させるために、CNN および RNN のコンポonentに因子化を適用する。
• パrameter数と FLOPs を最小限に抑えることで、CPU および GPU 上でのリアルタイム性能を最適化し、高い精度を維持する。

実験結果

リサーチクエスチョン

• RQ1 メモリ効率の良いディープラーニングフレームワークは、CPU および GPU 上で大アングル顔アライメントにおいてリアルタイム性能を達成できるか？
• RQ2 3D Diffusion Heap Maps (DHM) の統合は、2D 僅かまたは高チャネル数の3D表現と比較して、大アングル変動に対するロバスト性をどのように向上させるか？
• RQ3 因子化畳み込みと高速再帰モジュールは、精度を保持しつつ、計算コストをどの程度低減できるか？
• RQ4 提案された進化型顔アライメントフレームワークにおいて、モデルサイズ、推論速度、精度のトレードオフはいかなるものか？
• RQ5 極端なアングル条件下で、ベンチマークデータセットにおける速度、メモリ使用量、性能の観点から、本手法は最先端のモデルと比較してどの程度優れているか？

主な発見

• 提案モデルは、最先端のモデルと比較して、CPU で6倍、GPU で14倍高速な推論を達成し、リアルタイム性能が顕著に向上した。
• 最小のベースラインモデルと比較して、パrameter数が12.5倍も少ないことから、優れたメモリ効率を示した。
• AFLW2000-3D および LS3D-W データセットにおいて、平均 NME でトップ3の順位を達成し、[0°–30°]、[30°–60°]、[60°–90°] のアングル範囲でも同様の結果を示した。
• Fast DHM ×2 の構成が、精度（平均 NME ≈ 3.8）とモデル効率の間で最良のトレードオフを達成しており、これ以上の向上は得られなかった。
• 極端なアングルに対してはロバストであるが、重度の被覆や極端なロールアングルの顔では、そのようなケースのトレーニングデータが限られているため、性能が低下した。
• 高速再帰モジュールは、従来の RNN と比較して時間的・空間的複雑度を低減し、エッジデバイスでのリアルタイムデプロイを可能にした。