[論文レビュー] Family in the Wild (FIW): A Large-scale Kinship Recognition Database.

Joseph P. Robinson, Ming Shao+2 more|arXiv (Cornell University)|Apr 7, 2016

Face recognition and analysis参考文献 13被引用数 7

ひとこと要約

本稿では、階層的な親族関係、属性、局所的ラベルを備えた大規模かつ多様な家族写真のコレクションであるFamily in the Wild（FIW）データセットを紹介する。独自のラベル付けツールを用いて作成されたこのベンチマークデータセットにより、親族認識分野で最先端の性能が達成可能となり、事前学習済み畳み込みニューラルネットワーク（CNN）特徴量が従来の視覚的特徴量を上回ること、および機械学習アルゴリズムが人間の性能を上回ることを実証した。

ABSTRACT

We introduce a large-scale dataset for visual kin-based problems, the Family in the Wild (FIW) dataset. Motivated by the lack of a single, unified image dataset available for kinship tasks, our goal is to provide a dataset that captivates the interest of the research community, i.e., large enough to support multiple tasks for evaluation. For this, we collected and labelled the largest set of family images to date, with only a small team and an efficient labelling tool that was designed to optimize the process of marking complex hierarchical relationships, attributes, and local label information in family photos. We experimentally compare our dataset the existing kinship image datasets, and demonstrate the practical value of the newly collected FIW dataset. We also demonstrate that using a pre-trained convolutional neural network (CNN) as an off-the-shelf feature extractor as performing better than traditional feature types used for kinship based tasks in the visual domain. We also measure human performance and show their performance does not match up to that of machine vision algorithms.

研究の動機と目的

• 視覚的親族認識タスクのための統一的で大規模なデータセットの不足に対処すること。
• これまでで最大の家族画像データセットを収集・ラベル付けし、複雑な階層的関係と属性を捉えること。
• 複数の評価タスクをサポートするベンチマークデータセットを提供すること。
• 事前学習済みCNN特徴量が従来の手作業による視覚的特徴量を上回ることを示すこと。
• 機械学習モデルの性能と人間の性能を、画像からの親族認識において比較すること。

提案手法

• 著者らは、多様で現実的な家族構成を重視して、公的ソースから大規模な家族写真データセットを収集した。
• 家族画像内の複雑な階層的親族関係、属性、局所的顔面領域をラベル付けるために、独自の効率的なラベル付けツールを開発した。
• データセットには、親子関係、兄弟関係、および拡張家族関係の詳細なラベルに加え、顔面属性と局所化ラベルが含まれている。
• 著者らは、既存の親族認識データセットと比較し、標準ベンチマークを用いて性能を測定することで、データセットの評価を実施した。
• 事前学習済み畳み込みニューラルネットワーク（CNN）をオフザシェル特徴抽出器として微調整し、親族認識に適用した。
• 人間の性能は、機械学習モデルと比較するための制御されたラベル付けタスクを通じて測定された。

実験結果

リサーチクエスチョン

• RQ1 FIWデータセットは、スケール、多様性、ラベル品質の観点から、既存の親族認識データセットと比べてどのように異なるか？
• RQ2 事前学習済みCNN特徴量は、親族認識タスクにおいて、従来の手作業による視覚的特徴量を上回るか？
• RQ3 機械学習モデルは、画像からの親族認識において、人間の性能をどの程度上回るか？
• RQ4 独自のラベル付けツールは、複雑な階層的家族関係をどれほど効果的に捉えられるか？
• RQ5 データセットのサイズとラベルの豊富さは、親族認識の性能にどのような影響を与えるか？

主な発見

• FIWデータセットは、これまでで最も大規模な公開利用可能な親族認識データセットであり、前回の収集を大きく上回っている。
• 事前学習済みCNN特徴量は、HOG や LBP といった従来の視覚的特徴量よりも、親族認識タスクで一貫して優れた性能を示した。
• 画像からの親族関係認識において、機械視覚アルゴリズムが人間のラベラーを上回る高い正確性を達成した。
• 独自のラベル付けツールにより、複雑な家族の階層構造と局所的顔面属性の効率的かつ正確なラベル付けが可能になった。
• このデータセットは、認識、属性予測、局所化といった複数の親族関連タスクを支援する強力な潜在能力を示した。
• 結果として、FIWデータセットが視覚的親族認識分野における今後の研究にとって価値あるベンチマークであることが裏付けられた。