[論文レビュー] SelfKin: Self Adjusted Deep Model For Kinship Verification

Eran Dahan, Yosi Keller|arXiv (Cornell University)|Sep 22, 2018

Face recognition and analysis参考文献 10被引用数 6

ひとこと要約

本論文では、識別ラベルに依存せずに判別的な顔特徴を自動で学習する自己調整型ディーブラーニングモデルSelfKinを提案する。学習可能な特徴重み付け層とローカル・グローバル分類器を導入することで、性能に損なわれることなくネットワークパラメータを50%削減し、RFIW2018チャレンジで最先端の結果を達成した。特に、ID情報やメタデータなしの画像制限付き設定でも、既存手法を上回った。

ABSTRACT

One of the unsolved challenges in the field of biometrics and face recognition is Kinship Verification. This problem aims to understand if two people are family-related and how (sisters, brothers, etc.) Solving this problem can give rise to varied tasks and applications. In the area of homeland security (HLS) it is crucial to auto-detect if the person questioned is related to a wanted suspect, In the field of biometrics, kinship-verification can help to discriminate between families by photos and in the field of predicting or fashion it can help to predict an older or younger model of people faces. Lately, and with the advanced deep learning technology, this problem has gained focus from the research community in matters of data and research. In this article, we propose using a Deep Learning approach for solving the Kinship-Verification problem. Further, we offer a novel self-learning deep model, which learns the essential features from different faces. We show that our model wins the Recognize Families In the Wild(RFIW2018,FG2018) challenge and obtains state-of-the-art results. Moreover, we show that our proposed model can reduce the size of the network by half without loss in performance.

研究の動機と目的

• トレーニング時に識別ラベルや家族構造情報が利用できない状況における親族関係検証の課題に対処すること。
• 事前理論や手作業で設計された特徴に依存せずに、親族関係検証に適した顔特徴を自動で学習するディーブラーニングモデルの開発。
• 自己調整型特徴重み付け機構を用いて、性能を損なわずモデルの複雑さを半分に削減すること。
• ID情報やメタデータが利用できない、画像ペアのみが利用可能な厳密なシナリオにおける性能向上。
• ローカルとグローバル分類の統合により、より正確な親族関係予測のための特徴統合を向上させるローカル・グローバル分類器の導入。

提案手法

• 本モデルは、親族関係検証における関連性に基づき、顔特徴に動的重みを割り当てる自己調整層を採用している。
• 2つの顔表現からの特徴を統合するため、ローカル・グローバル分類器が用いられ、親族対と非親族対の識別を強化している。
• 特徴埋め込みの最適化を目的とした、三重項に類似した損失関数を用いて、エンドツーエンドでネットワークを訓練している。
• 自己調整層により、トレーニング中に関連性の低い特徴がプルーニングされ、パラメータ数が50%削減されながらも、性能の低下は最小限に抑えられた。
• 特徴抽出にはVGG-16をベースとし、正則化のための追加の全結合層とドロップアウトを導入している。
• モデルは、識別タグや家族構造情報にアクセスできない状況下で、画像ペアのみを用いてトレーニングおよび評価されている。

実験結果

リサーチクエスチョン

• RQ1 識別ラベルや事前理論に依存せずに、ディーブラーニングモデルが親族関係検証に適した顔特徴を自動で学習できるか。
• RQ2 自己調整型特徴重み付け層は、性能を維持したまま、親族関係検証におけるモデルの複雑さをどの程度低減できるか。
• RQ3 ローカルとグローバル分類の統合は、親族関係検証における特徴統合をどのように向上させるか。
• RQ4 本手法は、ID情報が利用できない厳密な画像制限付きシナリオにおいても、十分に一般化できるか。
• RQ5 自己調整層は、精度を損なわず、余分な特徴を特定・削除するのに利用できるか。

主な発見

• SelfKinモデルは、RFIW2018（FG2018）チャレンジで最先端の性能を達成し、厳密なシナリオでコンテスト優勝を果たした。
• 自己調整層のおかげで、ネットワークパラメータ数を50%削減したが、フルモデルと比較して平均性能がわずか1%低下したにとどまった。
• 自己調整層により、特徴の有効なプルーニングが可能となり、複雑さが低下しても大多数の親族関係タイプにおいて性能を維持、あるいはわずかに向上させた。
• モデルは大多数の親族関係タイプで一貫した性能を示したが、データ不足のため代表されないペア（GFGDやGMGSなど）では最大の性能低下が観察された。
• ローカル・グローバル分類器は特徴統合を顕著に向上させ、親族対と非親族対の識別性能を向上させた。
• アブレーションスタディの結果、自己調整層が有効であることが確認された。層を中央値でしきい値処理して特徴数を半分にした場合でさえ、層なしのモデルを上回る性能を示した。