[論文レビュー] Neural Architecture Search for Deep Face Recognition

Ning Zhu|arXiv (Cornell University)|Apr 21, 2019

Face recognition and analysis参考文献 41被引用数 10

ひとこと要約

本論文は、遅延を考慮した報酬を用いた強化学習を用いて、自動的に効率的で高精度なアーキテクチャを発見する、深層顔認識向けに特化した新しいニューラルアーキテクチャ探索（NAS）フレームワークを提案する。この手法は、最大1910万パラメータのコンパクトなネットワークを用いて、MS-Celeb-1Mで98.77%のトップ1精度、LFWで99.89%の精度を達成し、顔認識分野におけるNASの応用で初めて優れた結果をもたらした。

ABSTRACT

By the widespread popularity of electronic devices, the emergence of biometric technology has brought significant convenience to user authentication compared with the traditional password and mode unlocking. Among many biological characteristics, the face is a universal and irreplaceable feature that does not need too much cooperation and can significantly improve the user's experience at the same time. Face recognition is one of the main functions of electronic equipment propaganda. Hence it's virtually worth researching in computer vision. Previous work in this field has focused on two directions: converting loss function to improve recognition accuracy in traditional deep convolution neural networks (Resnet); combining the latest loss function with the lightweight system (MobileNet) to reduce network size at the minimal expense of accuracy. But none of these has changed the network structure. With the development of AutoML, neural architecture search (NAS) has shown excellent performance in the benchmark of image classification. In this paper, we integrate NAS technology into face recognition to customize a more suitable network. We quote the framework of neural architecture search which trains child and controller network alternately. At the same time, we mutate NAS by incorporating evaluation latency into rewards of reinforcement learning and utilize policy gradient algorithm to search the architecture automatically with the most classical cross-entropy loss. The network architectures we searched out have got state-of-the-art accuracy in the large-scale face dataset, which achieves 98.77% top-1 in MS-Celeb-1M and 99.89% in LFW with relatively small network size. To the best of our knowledge, this proposal is the first attempt to use NAS to solve the problem of Deep Face Recognition and achieve the best results in this domain.

研究の動機と目的

• ニューラルアーキテクチャ探索（NAS）が、深層顔認識のためのより優れたニューラルネットワークアーキテクチャを自動的に設計できるかどうかを調査すること。
• 顔認識システムにおけるモデルの精度と推論遅延のトレードオフを解決すること。
• アーキテクチャ自体を最適化することで、従来の手作業で設計されたネットワーク（ResNet や MobileNet など）を上回る顔認識性能を実現すること。
• 実世界のデプロイに適した精度と効率のバランスを取るために、NASの報酬関数に遅延を統合すること。

提案手法

• 本手法は、子ネットワークのアーキテクチャを生成するコントローラー・ネットワークを用いた強化学習ベースのNASフレームワークを採用する。
• 探索プロセスは、子ネットワークの学習と、ポリシー勾配最適化を用いたコントローラーの更新を交互に繰り返す。
• 交差エントロピー損失と推論遅延を組み合わせたカスタム報酬関数を用い、アーキテクチャ探索中に精度と効率のバランスをとる。
• 探索空間には、軽量CNNに一般的なdepthwise分離畳み込みと標準畳み込みブロックが含まれる。
• コントローラーはポインタネットを用いてアーキテクチャの演算を生成し、アーキテクチャ的選択の離散的探索を可能にする。
• 最終的なアーキテクチャは、大規模な顔認識データセット上で標準的な交差エントロピー損失を用いて、からくりから訓練される。

実験結果

リサーチクエスチョン

• RQ1 NASを深層顔認識に効果的に適用することで、手作業で設計されたモデルを上回るアーキテクチャを発見できるか？
• RQ2 NASの報酬関数に推論遅延を組み込むことで、精度とモデル効率のトレードオフにどのような影響を与えるか？
• RQ3 顔認識に特化してアーキテクチャを探索することで、標準的なバックボーンネットワークを用いる場合と比較して、どの程度の性能向上が達成できるか？
• RQ4 NASは、モバイルおよびエッジデバイスへのデプロイに適したコンパクトで高精度なモデルを生成できるか？

主な発見

• NASで最適化されたアーキテクチャは、大規模なMS-Celeb-1Mデータセットで98.77%のトップ1精度を達成し、以前のSOTA手法を上回った。
• LFWベンチマークでは99.89%の精度に達し、顔認識分野で新たなSOTA結果を樹立した。
• 最も優れた性能を示したアーキテクチャは、たった1910万パラメータで、高い精度にもかかわらず、非常に効率的であることが示された。
• 遅延を報酬関数に統合したことで、認識性能を損なわず、より高速な推論時間を実現するアーキテクチャが得られた。
• 本手法は、顔認識分野におけるNASの応用を初めて成功裏に実現し、タスク固有の自動アーキテクチャ設計の可能性を示した。
• 結果から、NASが顔認識タスクにおいて、標準のResNet や MobileNet の変種を上回る効果的でコンパクトなアーキテクチャを発見できることを確認した。