[論文レビュー] Deeply learned face representations are sparse, selective, and robust

Yi Sun, Xiaogang Wang+1 more|arXiv (Cornell University)|Dec 3, 2014

Face recognition and analysis参考文献 31被引用数 45

ひとこと要約

本稿では、顔認識のためのジョイント識別-検証の監視を用いて顔の表現を学習する深層畳み込みネットワーク、DeepID2+を提案する。LFWおよびYouTube Facesベンチマークにおいて最先端の性能を達成する。バイナリ化された活性化でも高い精度を達成しており、その深層特徴は明示的な正則化なしに、本質的にスパースで、識別子や属性に対して選択的であり、遮蔽に対して頑健であることが示された。

ABSTRACT

This paper designs a high-performance deep convolutional network (DeepID2+) for face recognition. It is learned with the identification-verification supervisory signal. By increasing the dimension of hidden representations and adding supervision to early convolutional layers, DeepID2+ achieves new state-of-the-art on LFW and YouTube Faces benchmarks. Through empirical studies, we have discovered three properties of its deep neural activations critical for the high performance: sparsity, selectiveness and robustness. (1) It is observed that neural activations are moderately sparse. Moderate sparsity maximizes the discriminative power of the deep net as well as the distance between images. It is surprising that DeepID2+ still can achieve high recognition accuracy even after the neural responses are binarized. (2) Its neurons in higher layers are highly selective to identities and identity-related attributes. We can identify different subsets of neurons which are either constantly excited or inhibited when different identities or attributes are present. Although DeepID2+ is not taught to distinguish attributes during training, it has implicitly learned such high-level concepts. (3) It is much more robust to occlusions, although occlusion patterns are not included in the training set.

研究の動機と目的

• 標準ベンチマークで既存モデルを上回る高性能な深層畳み込みネットワークを設計すること。
• 高性能をもたらす要因となる、深層ニューラルネットワークの活性化の内在的特性（スパarsity、選択的特性、頑健性）を調査すること。
• これらの有益な特性が、明示的な正則化やアーキテクチャの変更なしに、大規模学習から自然に出現するかどうかを理解すること。
• 効率的な大規模顔認識に向けたバイナリ化された深層特徴表現の有効性を評価すること。

提案手法

• DeepID2+ネットワークは、隠れ表現の次元を拡張し、初期畳み込み層に対しても監視を追加することで、特徴学習を向上させる。
• 識別と検証の両方の損失関数を統合して学習することで、識別子間の判別力を強化する。
• 層ごとの活性化パターンを分析し、スパarsity、選択的特性、遮蔽に対する頑健性を評価する。
• 上位の隠れ層からの活性化をしきい値処理することでバイナリ表現を抽出し、最小限の精度低下で効率的な顔認識を実現する。
• 部分的およびランダムなブロック遮蔽条件下で頑健性を評価し、DeepID2+特徴と手作業特徴のLBPを比較する。
• 顔の異なる領域に複数のDeepID2+ネットワークを組み合わせることで、遮蔽に対する耐性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 顔認識モデルにおける深層ニューラルネットワークの活性化は、明示的な正則化なしに、自然にスパarsity、選択的特性、頑健性を示すのか？
• RQ2 バイナリ化された深層特徴表現は、フル精度の活性化と比較して、どの程度高い認識精度を維持できるのか？
• RQ3 LBPのような手作業特徴と比較して、深層特徴は遮蔽や画像劣化に対してどの程度頑健か？
• RQ4 上位層の個々のニューロンは、それらの属性について明示的に学習されていなくても、特定の識別子や属性を強く示唆できるのか？
• RQ5 ネットワークの深さは、画像劣化下での特徴表現の安定性にどのように影響するのか？

主な発見

• DeepID2+はLFWで98.70%の検証精度を達成し、新記録を樹立。25のネットワークを組み合わせると99.47%の精度に到達。
• 上位の隠れ層の活性化は中程度にスパースで、1枚の画像あたり約半数のニューロンが活性化され、1つのニューロンは約半数の画像で活性化され、判別力が最大限に発揮される。
• 上位層の活性化をバイナリ化しても、LFWの検証精度は1%未満の低下に抑えられ、バイナリコードの認識効果が裏付けられた。
• 上位層のニューロンは非常に選択的である：特定の識別子や属性に対して、常に活性化されたり、抑制されたりするサブセットが存在し、それらの属性について明示的に学習されていなくても同様の傾向を示す。
• DeepID2+はLFWで40%の遮蔽に対しても90%以上の検証精度を維持するが、LBP特徴は70%未満に低下する。これにより、優れた頑健性が示された。
• 顔の異なる領域に25のDeepID2+ネットワークを組み合わせることで、40%の遮蔽下で93.9%の精度、顔の額と髪の部分のみが可視の状態でも88.2%の精度を達成し、単一ネットワークおよびLBPベースラインを上回った。