[論文レビュー] SeesawFaceNets: sparse and robust face verification model for mobile platform

Jintao Zhang|arXiv (Cornell University)|Aug 24, 2019

Face recognition and analysis参考文献 61被引用数 4

ひとこと要約

SeesawFaceNets は、MobileNetV2 をベースアーキテクチャとして、新しい Seesaw ブロックと squeeze-and-excitation (SE) モジュールを統合することで、モバイルプラットフォーム向けに軽量でスパースかつ耐障害性に優れた顔認証モデルを提案する。このモデルは、SOTA モデル（例：MobiFace）と比較して 66% 低い FLOPs（146M 対 221M）と 54.2% 少ないパラメータ数（1.3M 対 2.4M）を実現しながら、複数のベンチマークで最先端の精度を達成しており、計算リソースとメモリ制限が厳しい環境下でも高い性能を維持している。

ABSTRACT

Deep Convolutional Neural Network (DCNNs) come to be the most widely used solution for most computer vision related tasks, and one of the most important application scenes is face verification. Due to its high-accuracy performance, deep face verification models of which the inference stage occurs on cloud platform through internet plays the key role on most prectical scenes. However, two critical issues exist: First, individual privacy may not be well protected since they have to upload their personal photo and other private information to the online cloud backend. Secondly, either training or inference stage is time-comsuming and the latency may affect customer experience, especially when the internet link speed is not so stable or in remote areas where mobile reception is not so good, but also in cities where building and other construction may block mobile signals. Therefore, designing lightweight networks with low memory requirement and computational cost is one of the most practical solutions for face verification on mobile platform. In this paper, a novel mobile network named SeesawFaceNets, a simple but effective model, is proposed for productively deploying face recognition for mobile devices. Dense experimental results have shown that our proposed model SeesawFaceNets outperforms the baseline MobilefaceNets, with only {\bf66\%}(146M VS 221M MAdds) computational cost, smaller batch size and less training steps, and SeesawFaceNets achieve comparable performance with other SOTA model e.g. mobiface with only {\bf54.2\%}(1.3M VS 2.4M) parameters and {\bf31.6\%}(146M VS 462M MAdds) computational cost, It is also eventually competitive against large-scale deep-networks face recognition on all 5 listed public validation datasets, with {\bf6.5\%}(4.2M VS 65M) parameters and {\bf4.35\%}(526M VS 12G MAdds) computational cost.

研究の動機と目的

• クラウドベースの顔認証におけるプライバシーとレイテンシの課題に対処するため、デバイス内での推論を可能にする。
• モバイルプラットフォーム上で、最小限の計算リソースとメモリコストで高い精度を維持できる軽量なディープニューラルネットワークの設計。
• 推論の複雑さを増さずに、MobileFaceNet や他の既存のモバイル顔認識モデルを、アーキテクチャの革新によって上回ること。
• 顕著に小型化されたモデルサイズと FLOPs を実現しながら、公開ベンチマークで競争力のある性能を達成すること。

提案手法

• 2×2 の最大プーリングと 1×1 単位行列畳み込みを用いたスキップ接続ブランチを備えた、変更された逆残差ブロック（Seesaw ブロック）を導入し、特徴の再利用を向上させる。
• チャネル特徴を適応的に再キャリブレーションすることで表現学習を向上させる squeeze-and-excitation (SE) モジュールを採用し、計算コストを最小限に抑える。
• MobileNetV2 をベースにしたモバイルフレンドリーなアーキテクチャを採用し、深度分離畳み込みと逆ボトルネック構造を用いて FLOPs とパラメータ数を削減する。
• リソース要件を低減するため、バッチサイズと訓練ステップ数を削減した標準的な最適化手法を用いて、顔認証データセット上でエンドツーエンドにモデルを訓練する。
• パラメータのプルーニングや効率的なブロック設計といったモデル圧縮技術を適用し、厳しいハードウェア制約下でも性能を維持する。
• 標準的な評価プロトコルに従い、複数の公開ベンチマークでアーキテクチャの妥当性と汎化性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 スパースかつ効率的なニューラルネットワークアーキテクチャは、顕著に低い FLOPs とパラメータ数を実現しながら、モバイルデバイス上での顔認証精度を競争力を持って達成できるか？
• RQ2 標準的な残差ブロックや逆ボトルネックブロックと比較して、Seesaw ブロックは特徴学習とモデル効率性をどのように向上させるか？
• RQ3 同じハードウェアおよび訓練制約下で、提案されたモデルは MobileFaceNet や MobiFace などの既存の SOTA 軽量顔認識モデルをどの程度上回るか？
• RQ4 SE モジュールと Seesaw ブロックの統合は、計算コストを増加させることなく、多様な顔認証データセットにわたる耐障害性を向上させるか？
• RQ5 小規模なバッチサイズで、限られた GPU メモリ上でも、高い精度を維持しながら効率的に学習可能か？

主な発見

• SeesawFaceNets は、LFW と他の 4 つのベンチマークで、MobileFaceNet と同等またはそれ以上の精度を維持しながら、FLOPs を 66% 削減（146M 対 221M MAdds）している。
• MobiFace よりもパラメータ数が 54.2% 少なく（1.3M 対 2.4M）、FLOPs が 31.6% 少ない（146M 対 462M MAdds）にもかかわらず、LFW および他のデータセットで競争力のある性能を示している。
• より深く広いバージョン（DW-SeesawFaceNet）は、パラメータ数が 6.5%（4.2M 対 65M）で、FLOPs が 4.35%（526M 対 12G MAdds）にまで削減され、大規模なディープネットワークと同等の性能を達成している。
• アブレーションスタディにより、スイッチ接続を備えた Seesaw ブロックが、追加の計算コストを増やさずに特徴の再利用とモデル精度を向上させていることが確認された。
• バッチサイズ 128 で効率的に学習可能であり、必要な GPU メモリはたった 22GB にとどまり、一般消費者向けハードウェアでも学習をスクラッチから実行可能である。
• LFW、AgeDB-30、CFP-FP、CPLFW、CALFW の 5 つの公開データセットにおいて、SeesawFaceNets は、精度対効率比の観点で、MobileFaceNet や他の SOTA 軽量モデルを一貫して上回っている。