[論文レビュー] Triplet Similarity Embedding for Face Verification

Swami Sankaranarayanan, Azadeh Alavi+1 more|arXiv (Cornell University)|Feb 10, 2016

Face recognition and analysis参考文献 10被引用数 44

ひとこと要約

本論文では、トリプレット制約を用いて学習された低次元でマージンの大きな埋め込みと深層畳み込みニューラルネットワーク（CNN）を組み合わせた、トリプレット類似度埋め込み（TSE）手法を提案する。20時間の学習で、従来の手法よりもはるかに高速でありながら、IJB-A顔認証データセットで最先端の性能を達成しており、ハッシングや可視化などの効率的な後処理を可能にしている。

ABSTRACT

In this work, we present an unconstrained face verification algorithm and evaluate it on the recently released IJB-A dataset that aims to push the boundaries of face verification methods. The proposed algorithm couples a deep CNN-based approach with a low-dimensional discriminative embedding learnt using triplet similarity constraints in a large margin fashion. Aside from yielding performance improvement, this embedding provides significant advantages in terms of memory and post-processing operations like hashing and visualization. Experiments on the IJB-A dataset show that the proposed algorithm outperforms state of the art methods in verification and identification metrics, while requiring less training time.

研究の動機と目的

• LFWのようなベンチマークデータセットでの性能が飽和している、実世界の制約のない顔認証の課題に対処する。
• 従来、数週間の学習を要する深層CNNベースの顔認証モデルの学習時間を短縮する。
• ドメイン固有のファインチューニングとメトリクス学習を活用することで、LFWよりもより挑戦的なベンチマークであるIJB-Aデータセットでの性能を向上させる。
• ハッシングや可視化などの後続処理を効率的に行える、コンactかつ識別的な埋め込み空間を開発する。
• ImageNetで事前学習されたモデルからの転移学習と、トリプレットベースのメトリクス学習の組み合わせが、収束を早め、一般化性能を向上させることを示す。

提案手法

• 収束性を向上させるために、畳み込み層を減らし、パラメトリックなReLU（PReLU）活性化関数を用いた、AlexNetをモチーフにした深層CNNアーキテクチャを採用する。
• 学習を加速させ、特徴学習を向上させるために、畳み込み層の重みをImageNetで事前学習したモデルで初期化する。
• CASIA-WebFaceデータセットでネットワークをファインチューニングし、その後IJB-Aの学習スプリットでさらにファインチューニングすることで、ドメイン固有の特徴に適応する。
• 大マージン損失関数を用いて、トリプレット類似度制約を通じて、低次元（128次元）の識別的埋め込みを学習する。
• 微調整されたCNNからの深層特徴を、線形変換行列を用いて学習済みの埋め込み空間に射影することで、高速な推論を実現する。
• 学習時には68個のフィデューシャルポイントを用いたアラインメントの前処理パイプラインを適用し、テスト時には3つのキーポイントに基づくアラインメントを実施する。プロファイル顔の場合は、キーポイントが欠落しているため、バウンディングボックスのクロッピングをフォールバックとして用いる。

実験結果

リサーチクエスチョン

• RQ1 転移学習とトリプレットベースのメトリクス学習を組み合わせた深層CNNは、制約のないデータセットにおいて、学習を高速化しつつ、認証精度を維持または向上させることができるか？
• RQ2 提案されたトリプレット類似度埋め込み（TSE）手法は、IJB-Aベンチマークにおける認証および識別性能において、最先端の手法と比較してどのように差をつけるか？
• RQ3 低次元埋め込み空間は、生の深層特徴と比較して、ハッシングや可視化などの後続タスクにおいてどの程度性能を向上させるか？
• RQ4 事前学習済み重みとドメイン固有のファインチューニングの組み合わせは、困難な実世界データにおいて性能を損なうことなく、学習時間を短縮できるか？
• RQ5 低誤認受容率（FAR）における性能は、実用的導入において重要な低FAR条件下でも、本手法はどの程度の性能を示すか？

主な発見

• 提案手法は、IJB-Aの認証プロトコルにおいて、FAR = 1e-4の条件下でTAR = 0.41 ± 0.08を達成し、先行する最先端手法を上回った。
• FAR = 1e-1の条件下では、TAR = 0.945 ± 0.002を達成し、高いセキュリティ閾値でも強力な性能を示した。
• 識別タスクにおいて、ランク1（R1）で88%、ランク5（R5）で95%の精度を達成し、IJB-Aデータセットでこれまでの手法を上回った。
• 単一のNVIDIA TitanX GPUで20時間の学習でモデルが学習可能であり、従来の手法が数週間から数日を要するのと比べて顕著に高速であった。
• 128次元の埋め込みは、そのコンパクトさと識別性のおかげで、ハッシングや可視化などの効率的な後処理を可能にした。
• キーポイントアラインメントに失敗するプロファイル顔のテストでも、バウンディングボックスのクロッピングをフォールバックとして用いることで、強力な性能を維持した。