[論文レビュー] Finding Missing Children: Aging Deep Face Features

Debayan Deb, Divyansh Aggarwal+1 more|arXiv (Cornell University)|Nov 18, 2019

Face recognition and analysis参考文献 43被引用数 12

ひとこと要約

本論文では、任意の一般化された顔マッチャーの深層顔特徴を年齢進行させることで、行方不明児の縦断的顔認識を向上させる、新規の年齢進行モジュールを提案する。年齢に伴う変化を経てアイデンティティを保持する特徴を学習することで、本手法は子供から成人へのマッチングタスクにおいて、最高で9.56%のランク1識別精度向上を達成し、長期間行方不明となった児童の回復可能性を顕著に向上させる。

ABSTRACT

Given a gallery of face images of missing children, state-of-the-art face recognition systems fall short in identifying a child (probe) recovered at a later age. We propose an age-progression module that can age-progress deep face features output by any commodity face matcher. For time lapses larger than 10 years (the missing child is found after 10 or more years), the proposed age-progression module improves the closed-set identification accuracy of FaceNet from 40% to 49.56% and CosFace from 56.88% to 61.25% on a child celebrity dataset, namely ITWCC. The proposed method also outperforms state-of-the-art approaches with a rank-1 identification rate from 94.91% to 95.91% on a public aging dataset, FG-NET, and from 99.50% to 99.58% on CACD-VS. These results suggest that aging face features enhances the ability to identify young children who are possible victims of child trafficking or abduction.

研究の動機と目的

• 長期間の時間経過により顔認識システムが年齢に伴う顔の変化によって失敗する、行方不明児を特定するという重要な課題に対処すること。
• 子供の顔を大きな年齢ギャップでマッチングする際の、一般化された顔マッチャーの縦断的性能を向上させること。
• ベースの顔マッチャーの再トレーニングを必要とせず、即座に統合可能なプラグアンドプレイモジュールを開発すること。
• 児童の人身売買や誘拐事例における実用的応用を高めるために、行方不明児の検索精度を向上させること。

提案手法

• 本手法は、事前に訓練された顔マッチャーからの深層顔特徴を、年齢進行の影響を模倣するように変換する、学習可能な年齢進行モジュールを導入する。
• モジュールは潜在的特徴空間で動作し、アイデンティティを保持しながら、顔の構造、皮膚の質感、しわといった年齢関連の属性を進行させる。
• アイデンティティの忠実性を維持するために、コンテンツ・アイデンティティ損失と知覚的損失を用いた、条件付きオートエンコーダーに基づくアーキテクチャを採用する。
• 年齢ラベルをプローブに明示的に必要としない非クロスエイジ顔データセットで年齢進行ネットワークをトレーニングすることで、年齢範囲にわたって一般化可能である。
• デコーダーは変換された特徴から年齢進行された顔画像を生成し、ギャラリーでのマッチング性能向上に使用する。
• 本手法はベースの顔マッチャーに依存しないため、FaceNet、CosFace、および商用市販（COTS）システムなど、さまざまなモデルと統合可能である。

実験結果

リサーチクエスチョン

• RQ1 長期間の時間経過における行方不明児のケースにおいて、深層顔特徴を効果的に年齢進行させることで、顔認識性能を向上させることができるか？
• RQ2 顔特徴の年齢進行が、子供から成人へのマッチングタスクにおける最先端顔マッチャーのランク1識別精度にどのように影響を与えるか？
• RQ3 事前学習済み特徴上で動作するラッパー型モジュールが、エンドツーエンドの年齢不変認識モデルを上回る性能を発揮できるか？
• RQ4 本手法は、大きな年齢ギャップを有する実世界の行方不明児ケースにおいて、検索性能をどの程度向上させるか？
• RQ5 再トレーニングを必要とせずに、異なる顔マッチャーおよびデータセットに一般化可能か？

主な発見

• 提案手法により、FaceNetのITWCCデータセットにおけるランク1識別精度が40.00%から49.56%に向上した。これは10年以上の時間経過を想定したケースで顕著な改善である。
• CosFaceのITWCCデータセットにおけるランク1精度は56.88%から61.25%に上昇し、長期的子供認識において顕著な向上を示した。
• FG-NET年齢データセットでは、CosFaceのランク1精度が94.91%から95.91%に向上し、先行する最先端手法を上回った。
• 実世界の事例研究では、CosFaceに年齢進行モジュールを適用した結果、カーリナ・ホワイトの画像がランク268に検出された。対照的に、モジュールなしではランク1,242にまで下がり、検索空間が著しく狭くなった。
• リチャード・ウェイン・ランドルズのケースでは、5歳の画像の検索順位がランク23からランク1に向上し、トップランクで正しく特定された。
• 本手法は、しわや頭部の拡大といった年齢進行効果を保持しながら、アイデンティティを維持するリアルな年齢進行顔画像を効果的に生成したことが、定性的な可視化で裏付けられた。