[論文レビュー] Facial Keypoints Detection

Shenghao Shi|arXiv (Cornell University)|Oct 15, 2017

Face and Expression Recognition参考文献 32被引用数 12

ひとこと要約

本論文では、主成分分析（PCA）および局所的バイナリーパターン（LBP）を用いた特徴工学を含む、複数の機械学習手法を用いた顔面キーポイント検出の包括的フレームワークを提案する。その後、線形モデル、木構造モデル、ニューラルネットワーク、畳み込みニューラルネットワーク（CNN）の評価が行われる。畳み込みニューラルネットワークが最も優れた性能を示し、RMSEは1.972を記録した。一方、LBPは特徴表現を向上させ、PCAは次元削減により効率を向上させる。

ABSTRACT

Detect facial keypoints is a critical element in face recognition. However, there is difficulty to catch keypoints on the face due to complex influences from original images, and there is no guidance to suitable algorithms. In this paper, we study different algorithms that can be applied to locate keyponits. Specifically: our framework (1)prepare the data for further investigation (2)Using PCA and LBP to process the data (3) Apply different algorithms to analysis data, including linear regression models, tree based model, neural network and convolutional neural network, etc. Finally we will give our conclusion and further research topic. A comprehensive set of experiments on dataset demonstrates the effectiveness of our framework.

研究の動機と目的

• 制約のない画像条件下でも頑健な顔面キーポイント検出フレームワークの構築を目的とする。
• 線形モデル、木構造モデル、ニューラルネットワーク、CNNを含む、さまざまな機械学習アルゴリズムが顔面キーポイント検出に与える効果を評価すること。
• PCA や LBP といった前処理技術がモデルの性能および計算効率に与える影響を調査すること。
• キーポイント局在化におけるRMSEを最小化するための、特徴抽出法と学習アルゴリズムの最適な組み合わせを同定すること。
• 精度、解釈可能性、トレーニング時間のトレードオフに基づいた、モデル選択に関する実用的ガイダンスを提供すること。

提案手法

• 次元削減のための主成分分析（PCA）を用いて顔面画像データを前処理する。
• 局所的バイナリーパターン（LBP）を適用し、テクスチャ特徴を抽出するとともに、画像の局所的詳細を強化する。
• 線形回帰、正則化付き線形回帰、決定木、k-近傍法（KNN）、順方向型ニューラルネットワーク、畳み込みニューラルネットワーク（CNN）を訓練・比較する。
• モデル学習の前処理としてPCAとLBPを組み合わせ、特徴表現を向上させる。
• キーポイント局在化精度の主評価指標として、二乗平均平方根誤差（RMSE）を用いる。
• 標準的な顔面キーポイントデータセットを用いて、異なる構成におけるモデル性能を比較する実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 PCAおよびLBPの前処理技術が、キーポイント検出モデルの性能にどのように影響を与えるか？
• RQ2 CNN、ニューラルネットワーク、決定木、線形モデルの中で、顔面キーポイント検出において最も低いRMSEを達成するのはどれか？
• RQ3 顔面キーポイント検出において、モデルの精度、トレーニング時間、解釈可能性の間のトレードオフはいかなるものか？
• RQ4 理論的制限があるにもかかわらず、KNNは高次元の顔面キーポイントデータに対して良好な性能を示せるか？
• RQ5 PCAとLBPを組み合わせることで、モデルの汎化性能がどの程度向上し、過学習が軽減されるか？

主な発見

• 畳み込みニューラルネットワーク（CNN）は、1.972という最小のRMSEを達成し、顔面キーポイント検出において優れた性能を示した。
• LBPは局所的なテクスチャ詳細を捉えることでRMSEを顕著に低下させ、計算負荷を増加させることなく特徴表現を向上させた。
• PCAはデータの次元を効果的に削減し、特に過学習を軽減する点で、ニューラルネットワークのような複雑なモデルのトレーニングを高速化した。
• 決定木は高い解釈可能性を備えており、深層学習モデルに比べてRMSEが高めでも、初期のデータ探索に有用である。
• ニューラルネットワークとKNNは有望ではあるが、結果が一貫性に欠け、ハイパーパrameterチューニングやデータサイズに敏感であった。
• 正則化付き線形回帰は、計算効率が良く、高速な推論が求められる状況では、妥当な性能を示す代替手段である。