[論文レビュー] Unconstrained Face Verification using Deep CNN Features

Jun-Cheng Chen, Vishal M. Patel+1 more|arXiv (Cornell University)|Aug 7, 2015

Face recognition and analysis参考文献 32被引用数 6

ひとこと要約

本論文は、CASIA-WebFaceデータセットからの特徴を用いた深層畳み込みニューラルネットワーク（DCNN）ベースの顔認証手法を提案し、比較的小さなデータセットで学習しているにもかかわらず、挑戦的な IARPA Janus Benchmark A（IJB-A）および Labeled Face in the Wild（LFW）データセットで競争力ある性能を達成した。この手法は、深層CNN特徴と共同ベイジアンメトリクス学習を組み合わせており、ポーズ、照明、表情の制約のない変化に対して頑健であることが示された。

ABSTRACT

In this paper, we present an algorithm for unconstrained face verification based on deep convolutional features and evaluate it on the newly released IARPA Janus Benchmark A (IJB-A) dataset. The IJB-A dataset includes real-world unconstrained faces from 500 subjects with full pose and illumination variations which are much harder than the traditional Labeled Face in the Wild (LFW) and Youtube Face (YTF) datasets. The deep convolutional neural network (DCNN) is trained using the CASIA-WebFace dataset. Extensive experiments on the IJB-A dataset are provided.

研究の動機と目的

• ポーズ、照明、表情、遮蔽などの制約のない変化に対して耐性を持つ顔認証システムの開発。
• IARPA Janus Benchmark A（IJB-A）データセットにおける深層CNN特徴の性能評価。このデータセットは顕著な現実世界の課題を提示する。
• 既存の最先端手法（商業的オフザシェルマッチャーおよび他のディープラーニングモデルを含む）と比較する。
• 共同ベイジアンメトリクス学習が顔認証の類似度スコアリングを改善する効果を調査する。
• 中程度のサイズのデータセット（CASIA-WebFace）で学習したDCNNモデルが、より複雑で制約のないデータセットへ一般化できる能力を示す。

提案手法

• CASIA-WebFaceデータセット（約490,356枚の10,548人の被験者を含む）で深層畳み込みニューラルネットワーク（DCNN）を学習した。
• 学習済みネットワークの最終全結合層から深層CNN特徴を抽出し、顔表現として用いた。
• 顔ペアの同時分布をモデル化するために、クラス間確率とクラス内確率の比を類似度スコアとして用いた共同ベイジアンメトリクス学習を適用した。
• IJB-AおよびLFWデータセットにおける比較と評価に、コサイン類似度と制約なしの共同ベイジアンメトリクスを用いた。
• LFWでは標準的な交差検証プロトコルを採用し、評価指標として特定のFAR（誤認可率）レベルにおけるTAR（真正受容率）とCMC（累積マッチング特性）曲線を定義した。
• 今後の研究において、中間層の教師あり情報を利用してモデルをファインチューニングし、識別力の向上と収束速度の向上を図る予定である。

実験結果

リサーチクエスチョン

• RQ1 CASIA-WebFaceという中程度のサイズのデータセットで学習したDCNNモデルは、IJB-Aのような非常に制約のない顔認証ベンチマークへ効果的に一般化できるか？
• RQ2 制約のない顔認証タスクにおいて、深層CNN特徴はFisherベクトル符号化や手作業特徴（例：LBP）といった従来手法と比較してどの程度優れているか？
• RQ3 コサイン距離のような標準的な類似度メトリクスと比較して、共同ベイジアンメトリクス学習はどの程度認証精度を向上させるか？
• RQ4 顕著に大きな学習データを用いた最先端のディープラーニングモデル（例：DeepFace、FaceNet、DeepID2）と比較して、本手法の性能はいかがなものか？
• RQ5 アンサンブルモデルではなく単一のネットワークを使用した場合、性能と計算効率にどのような影響があるか？

主な発見

• コサイン類似度を用いた場合、LFWデータセットで平均97.15% ± 0.7%の精度を達成し、比較的小さなデータセットで学習しているにもかかわらず、強力な性能を示した。
• 共同ベイジアンメトリクス学習を適用した場合、LFWデータセットで97.45% ± 0.7%の精度に到達し、確率的類似度モデリングの利点が明らかになった。
• IJB-Aデータセットでは、FVベースの手法および商業的オフザシェルマッチャーを上回り、ポーズ、照明、表情の変化に対して頑健であることが示された。
• IJB-Aデータセットでは、FAR = 0.01におけるTARが0.972 ± 0.005に達し、厳しい誤認可閾値下でも優れた性能を示した。
• 1枚の顔画像あたりの特徴抽出時間はわずか0.006秒であり、高い計算効率を示した。
• CASIA-WebFaceの490,356枚という限定的な画像数を用いても、本手法は顕著に多数の画像（例：FaceNetは2.6億枚）で学習したモデルと比較して、強力な一般化能力を示した。