[論文レビュー] Families in the Wild (FIW): Large-Scale Kinship Image Database and Benchmarks

Joseph P. Robinson, Ming Shao+2 more|arXiv (Cornell University)|Apr 7, 2016

Face recognition and analysis参考文献 31被引用数 66

ひとこと要約

本論文では、1,000の多様な家族から成る11,163枚の制約のない家族写真を含む、これまでで最大の血縁認識データセット「Families in the Wild (FIW)」を紹介する。著者らは階層的血縁ラベル付けのための新規アノテーションツールを提案し、事前学習済みのVGG-Face CNNをFIWで微調整することで性能が著しく向上することを実証した。その結果、家族認識タスクでトップ-1精度13.3％を達成し、ハンドクラフト特徴量やメトリクス学習ベースラインを上回った。

ABSTRACT

We present the largest kinship recognition dataset to date, Families in the Wild (FIW). Motivated by the lack of a single, unified dataset for kinship recognition, we aim to provide a dataset that captivates the interest of the research community. With only a small team, we were able to collect, organize, and label over 10,000 family photos of 1,000 families with our annotation tool designed to mark complex hierarchical relationships and local label information in a quick and efficient manner. We include several benchmarks for two image-based tasks, kinship verification and family recognition. For this, we incorporate several visual features and metric learning methods as baselines. Also, we demonstrate that a pre-trained Convolutional Neural Network (CNN) as an off-the-shelf feature extractor outperforms the other feature types. Then, results were further boosted by fine-tuning two deep CNNs on FIW data: (1) for kinship verification, a triplet loss function was learned on top of the network of pre-trained weights; (2) for family recognition, a family-specific softmax classifier was added to the network.

研究の動機と目的

• 研究用に大規模で多様性に富み、正確にアノテーションされた血縁画像データセットが不足しているという問題に対処すること。
• 血縁認識システムの強固な評価を可能にするために、血縁確認と家族認識のための包括的なベンチマークを提供すること。
• 大規模データとディープラーニングの微調整を通じて、血縁認識タスクの性能を向上させること。
• 家族ベースのフォト管理、家系図研究、監視システムなど、実世界の応用を支援すること。

提案手法

• 著者らは、世界中の1,000の多様な家族から、年齢、人種、家族構成の多様性を確保した11,163枚の制約のない家族写真を収集した。
• 1,000の家族図において、複雑な階層的血縁関係と顔の局所的特徴を効率的にラベル付けするためのカスタムアノテーションツールを開発した。
• 血縁確認のため、11種類の関係性にわたる418,060枚の画像ペアを用いて、事前学習済みのVGG-Face CNNを三重損失（triplet loss）で微調整した。
• 家族認識のため、同じモデルの最終層を家族固有のソフトマックス分類器に置き換えることで微調整を行い、316家族を分類した。
• 家族が重複しないように5分割交差検証を実施し、PCAを用いて特徴次元を100次元に削減した。
• 複数の視覚的特徴（SIFT、LBP、VGG-Face）とメトリクス学習手法（NRML、ITML）を評価し、類似度はコサイン類似度、分類にはSVMを用いた。

実験結果

リサーチクエスチョン

• RQ1 大規模で多様性に富み、正確にアノテーションされたデータセットは、従来の小さなデータセットと比較して、血縁認識モデルの性能向上に寄与するか？
• RQ2 FIWで事前学習済みCNNを微調整することで、ハンドクラフト特徴量やメトリクス学習ベースラインを著しく上回る性能が得られるか？
• RQ3 特に代表が少ない関係性（例：祖父母と孫）のような異なる関係タイプは、血縁認識タスクでどのように性能を示すか？
• RQ4 制約のない環境下でのデータ量と多様性は、モデルの汎化性能とロバストネスをどの程度向上させるか？
• RQ5 三重損失と家族固有の分類器を用いたエンドツーエンドのディープラーニング微調整は、大規模な血縁認識ベンチマークで最先端の結果を達成できるか？

主な発見

• 三重損失を用いて事前学習済みVGG-Face CNNを微調整することで、ハンドクラフト特徴量やメトリクス学習手法よりも血縁確認精度が向上し、FIWベンチマークで最良の結果が得られた。
• VGG-Face特徴抽出器は、11種類のすべての関係タイプでSIFTおよびLBP特徴量を上回り、血縁認識における深層特徴量の優位性を示した。
• 316家族のテストセットにおいて、VGG-Face特徴量の家族認識精度は12.3％から、微調整済みモデルでは13.3％に向上し、ドメイン特化型微調整の利点を示した。
• 祖父母と孫のペアは親子ペアよりも高い精度を示したが、これはFIWデータセット内で訓練サンプル数が大きかったためと推定される。
• 5分割交差検証の結果、微調整による性能向上が一貫しており、各fold間での標準偏差は1.6％にとどまり、安定した性能向上が確認された。
• FIWデータセットには11種類の関係性にわたる418,060枚の画像ペアが含まれており、次に大きいデータセットであるFamily101と比較して約10倍の規模である。