[論文レビュー] Learning a Metric Embedding for Face Recognition using the Multibatch Method

Oren Tadmor, Yonatan Wexler+3 more|arXiv (Cornell University)|May 23, 2016

Face recognition and analysis被引用数 25

ひとこと要約

本論文は、顔認識における深層メトリック埋め込みネットワークの学習のための新しい確率的勾配推定手法「Multibatch」を提案する。ミニバッチ内のすべてのペアワイズ組み合わせを用いて勾配を計算することにより、勾配の分散を O(1/k²) まで低減し、収束を高速化する。1つのGPUで12時間の学習でLFWで98.2%の精度を達成し、ARM Cortex A9コア上で30msの推論時間となる。

ABSTRACT

This work is motivated by the engineering task of achieving a near state-of-the-art face recognition on a minimal computing budget running on an embedded system. Our main technical contribution centers around a novel training method, called Multibatch, for similarity learning, i.e., for the task of generating an invariant "face signature" through training pairs of "same" and "not-same" face images. The Multibatch method first generates signatures for a mini-batch of $k$ face images and then constructs an unbiased estimate of the full gradient by relying on all $k^2-k$ pairs from the mini-batch. We prove that the variance of the Multibatch estimator is bounded by $O(1/k^2)$, under some mild conditions. In contrast, the standard gradient estimator that relies on random $k/2$ pairs has a variance of order $1/k$. The smaller variance of the Multibatch estimator significantly speeds up the convergence rate of stochastic gradient descent. Using the Multibatch method we train a deep convolutional neural network that achieves an accuracy of $98.2\\%$ on the LFW benchmark, while its prediction runtime takes only $30$msec on a single ARM Cortex A9 core. Furthermore, the entire training process took only 12 hours on a single Titan X GPU.

研究の動機と目的

• 埋め込み用に最適化された、低計算コストな顔認識システムを、組み込み環境に適合させる。
• 教師分類タスクよりも最適化が難しいとされる深層メトリック埋め込みネットワークの学習課題に取り組む。
• 最先端の精度を維持したまま、学習時間と計算コストを削減する。
• アライメントとシグネチャ生成の統合的エンドツーエンドネットワークを学習可能にし、耐障害性と効率性を向上させる。
• 直接的なメトリック学習が、低分散勾配推定器と組み合わせることで、実現可能で効果的であることを示す。

提案手法

• Multibatch法は、ミニバッチサイズk内のすべてのk² - k組み合わせを用いて勾配を計算する。これは、ランダムなサブセットを用いるのではなく、より正確な勾配推定を得るためである。
• 本手法は、勾配推定器の分散が O(1/k²) で有界であることを証明しており、標準的なランダムペアサンプリングの O(1/k) に比べて顕著に低い。
• ネットワークアーキテクチャに顔アライメントを統合し、わずか480万FLOPのネットワークを用いて、ワープパラメータのエンドツーエンド最適化を可能にした。
• 主な埋め込みネットワークは、NINブロックと全結合層を備えた深層CNNであり、顔画像の128次元シグネチャーベクトルを出力するように最適化されている。
• 損失関数は、同一クラスペアの距離が θ - 1 より小さくなるように制約を課し、異なるクラスペアの距離が θ + 1 より大きくなるようにする（選択されたノルム下で）。
• アライメントと埋め込みを含むパイプライン全体は、1つのARM Cortex A9コア上で4100万FLOPs、30msの実行時間で動作するように最適化された。

実験結果

リサーチクエスチョン

• RQ1 低分散勾配推定器は、顔認識のメトリック学習における学習収束を顕著に高速化できるか？
• RQ2 マルチクラス分類やトリプレット損失といった代理目的に依存せずに、直接的なメトリック埋め込み学習は可能で効果的か？
• RQ3 統合的エンドツーエンドアライメントと埋め込みネットワークは、組み込みシステムで最小限の推論コストで高い精度を達成できるか？
• RQ4 直接的なメトリック学習目的を用いる場合、モデルサイズ、学習時間、精度のトレードオフはどのようなものか？
• RQ5 実際の応用において、標準的な確率的勾配推定器と比較して、Multibatch法は分散と収束速度の点で優れているか？

主な発見

• Multibatch法は、標準推定器の O(1/k) に比べ、勾配の分散を O(1/k²) まで低減し、確率的勾配降下法における収束を高速化した。
• 本手法により、1つのTitan X GPUで12時間の学習で、LFWベンチマークで98.2%の精度を達成する深層メトリック埋め込みネットワークの学習が可能になった。
• 最終モデルは、1つのARM Cortex A9コア上で30msで実行され、わずか4100万FLOPsで動作するため、リアルタイムの組み込みデプロイメントに適している。
• 本モデルは2014年の最先端技術（DeepFace）を上回る精度を達成したが、学習時間は1/5000分の1であり、パラメータ数も著しく少ない。
• 110億FLOPsのVGGに類似した大規模バージョンでは98.8%の精度を達成したが、これはモデル容量ではなく、学習データ内のノイズが性能の限界を決定していることを示唆している。
• 結果として、直接的なメトリック学習が、Multibatch勾配推定器と組み合わせることで、実現可能で効果的であることが示された。これにより、代理目的の必要性が排除された。