[論文レビュー] One-to-many face recognition with bilinear CNNs

Aruni RoyChowdhury, Tsung‐Yu Lin+2 more|arXiv (Cornell University)|Jun 3, 2015

Face recognition and analysis参考文献 23被引用数 8

ひとこと要約

本論文は、IARPA Janus Benchmark A (IJB-A) における1対多顔認識に双線形畳み込みニューラルネットワーク（B-CNN）を用いることを提案し、標準のCNNよりも顕著な性能向上を示した。事前学習済みネットワークの特徴マップに双線形プーリングを適用することで、高次元の特徴相互作用を捉えることができ、FaceScrubおよびIJB-Aの学習データで微調整した後、89.5%のランク-1リcallを達成した。また、追加の学習なしに事前学習済みのVGG-Faceモデルに直接適用した場合でも、性能向上が見られた。

ABSTRACT

The recent explosive growth in convolutional neural network (CNN) research has produced a variety of new architectures for deep learning. One intriguing new architecture is the bilinear CNN (B-CNN), which has shown dramatic performance gains on certain fine-grained recognition problems [15]. We apply this new CNN to the challenging new face recognition benchmark, the IARPA Janus Benchmark A (IJB-A) [12]. It features faces from a large number of identities in challenging real-world conditions. Because the face images were not identified automatically using a computerized face detection system, it does not have the bias inherent in such a database. We demonstrate the performance of the B-CNN model beginning from an AlexNet-style network pre-trained on ImageNet. We then show results for fine-tuning using a moderate-sized and public external database, FaceScrub [17]. We also present results with additional fine-tuning on the limited training data provided by the protocol. In each case, the fine-tuned bilinear model shows substantial improvements over the standard CNN. Finally, we demonstrate how a standard CNN pre-trained on a large face database, the recently released VGG-Face model [20], can be converted into a B-CNN without any additional feature training. This B-CNN improves upon the CNN performance on the IJB-A benchmark, achieving 89.5% rank-1 recall.

研究の動機と目的

• 制約のない、現実世界の条件下で顔のポーズや外見の変動が著しい状況における1対多顔認識の課題に対処すること。
• 細分化された認識で開発された双線形CNNが、多様で手作業で選別された顔画像を含むIJB-Aベンチマークにおいて、効果を発揮するかを評価すること。
• FaceScrubのような外部顔データセットで双線形モデルを微調整することで、標準CNNよりも性能が向上するかを調査すること。
• 事前学習済みのVGG-Faceネットワークを再学習せずにB-CNNに変換できるか、およびその場合に性能向上が見られるかを実証すること。

提案手法

• 双線形CNNアーキテクチャは、2つの並列ストリームネットワークの活性化マップの外積を計算し、その後空間的平均プーリングを適用することで、高次元の特徴表現を生成する。
• 特徴レベルのプーリングを用いることで、スコアレベルのプーリングよりもポーズや視点の変動に対してより頑健な性能が得られ、1つのプローブテンプレートに複数の画像を統合できる。
• モデルはImageNetで事前学習済みのAlexNetスタイルのネットワークから初期化され、公開のFaceScrubデータセットおよびIJB-Aの学習セットで微調整された。
• 事前学習済みのVGG-Faceモデルは、最終の全結合層を双線形層に置き換えることでB-CNNに変換され、特徴抽出器の再学習は行われなかった。
• 認識は、双線形特徴から得られるギャラリー埋め込みベクトル上で訓練された1対多SVM分類器を用いて実施された。
• 性能評価は、オープンセット1:Nプロトコル下での標準指標（累積マッチ特性（CMC）および意思決定誤差トレードオフ（DET）曲線）を用いて行われた。

実験結果

リサーチクエスチョン

• RQ1 IJB-Aベンチマークは、現実世界の顔認識に課題を提供するが、双線形CNNはそのベンチマークで優れた性能を達成できるか？
• RQ2 FaceScrubのような外部顔データセットで双線形モデルを微調整することで、標準CNNよりも顕著な性能向上が得られるか？
• RQ3 VGG-Faceのような事前学習済みの深層顔認識モデルを、追加の学習なしに効果的にB-CNNに変換できるか、性能向上が見られるか？
• RQ4 異なるプーリング戦略（特徴レベル対スコアレベル）は、複数枚の画像テンプレートを含む状況での認識精度にどのように影響するか？

主な発見

• FaceScrubおよびIJB-Aの学習セットで両方微調整した双線形CNNモデルは、IJB-Aベンチマークで89.5%のランク-1リcallを達成し、標準CNNベースラインを著しく上回った。
• 追加の微調整なしに、事前学習済みVGG-Faceモデルの双線形バージョンも89.5%のランク-1リcallを達成し、元のVGG-Face CNNの89.2%をわずかに上回った。
• 双線形モデルは、すべての評価プロトコルで標準CNNを常に上回り、特にオープンセット識別設定で最大の向上が見られた。
• 特徴レベルのプーリングは、スコアレベルのプーリングと比較して2倍速く、精度差は無視できるほど小さく、リアルタイムデプロイメントに適していることが分かった。
• 双線形モデルをFaceScrubで微調整するには、Tesla K40 GPUで約2日間を要し、最終モデルはFPIR=0.1のときFNIRが0.659を達成した。
• B-CNNアーキテクチャはポーズ変動や複数枚の画像テンプレートに対して頑健であり、さまざまなプーリングおよび学習戦略においても性能向上が維持された。