[論文レビュー] Tri-Subject Kinship Verification: Understanding the Core of A Family

Xiaoqian Qin, Xiaoyang Tan+1 more|arXiv (Cornell University)|Jan 12, 2015

Face recognition and analysis参考文献 23被引用数 10

ひとこと要約

本論文は、相対的対称二重線形モデル（RSBM）と空間的に投票された特徴選択を用いて、子と両親の関係をモデル化する、新しい三者間の親族関係検証フレームワークを提案する。この手法は、複数のベンチマークで最先端の性能を達成しており、1,000組を超える家族トリプルを含む新たにリリースされたデータセットでも、両親の画像が利用可能な場合に、従来のワン・フォーセット・ワン手法を著しく上回る。

ABSTRACT

One major challenge in computer vision is to go beyond the modeling of individual objects and to investigate the bi- (one-versus-one) or tri- (one-versus-two) relationship among multiple visual entities, answering such questions as whether a child in a photo belongs to given parents. The child-parents relationship plays a core role in a family and understanding such kin relationship would have fundamental impact on the behavior of an artificial intelligent agent working in the human world. In this work, we tackle the problem of one-versus-two (tri-subject) kinship verification and our contributions are three folds: 1) a novel relative symmetric bilinear model (RSBM) introduced to model the similarity between the child and the parents, by incorporating the prior knowledge that a child may resemble a particular parent more than the other; 2) a spatially voted method for feature selection, which jointly selects the most discriminative features for the child-parents pair, while taking local spatial information into account; 3) a large scale tri-subject kinship database characterized by over 1,000 child-parents families. Extensive experiments on KinFaceW, Family101 and our newly released kinship database show that the proposed method outperforms several previous state of the art methods, while could also be used to significantly boost the performance of one-versus-one kinship verification when the information about both parents are available.

研究の動機と目的

• 三者間（ワン・フォーセット・ツー）の親族関係検証という未だ十分に検討されていない問題に取り組むこと。ここで、子が両親の両方と同時に関係性を評価する。
• ワン・フォーセット・ワン手法よりも、子と両親の間の遺伝的・視覚的依存関係をより効果的にモデル化すること。
• 局所的な空間的構造を保持しながら、同時に識別性の高い特徴を特定する特徴選択手法を開発すること。
• 大規模かつ高品質な三者間親族関係データベースを構築し、厳密な評価を可能にすること。
• 両親の画像を組み込むことで、ワン・ペアレント手法に比べて親族関係検証の性能が向上することを示すこと。

提案手法

• 子がそれぞれの両親に対して示す相対的類似性を捉える相対的対称二重線形モデル（RSBM）を導入し、子が一方の両親に遺伝的により近い可能性があるという事前知識を組み込む。
• データから学習された共分散に類似する行列を用いて、子と両親のペアの間の類似性を二重線形な方法でモデル化する。
• 空間的領域全体で識別性の高い特徴を共同で選択することで、耐性性と関連性を向上させる空間的に投票された特徴選択手法を提案する。
• SIFT、C-SVDD、TPLBPの複数の特徴を意思決定レベルで統合し、性能を向上させる。M-NUAAバージョンが最高の結果を達成した。
• 子と両親の特徴の間の相互作用を明示的にモデル化する二重線形類似度関数を採用し、結合された依存関係を捉える。
• 既存のワン・フォーセット・ワン親族関係検証手法に適応可能にし、両親の画像が利用可能な場合に性能向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 子がそれぞれの両親に対して示す相対的類似性をモデル化することで、標準的なワン・フォーセット・ワン手法に比べて親族関係検証の正確性が向上するか？
• RQ2 空間的に局所化された特徴をどのように共同で選択すれば、三者間親族関係検証における識別性を最大化できるか？
• RQ3 両親の両方の情報を組み込むことで、片方の親のみを使用する場合と比較して、検証性能が著しく向上するか？
• RQ4 既存のワン・フォーセット・ワン手法を三者間検証に拡張できる統一されたフレームワークを設計できるか？また、耐性性が向上するか？
• RQ5 遺伝的類似性に関する事前知識が、親族関係検証システムの性能に与える影響は何か？

主な発見

• 提案されたM-NUAA手法は、KinFaceW-Iデータセットで86.74％の平均正答率を達成し、SIFT特徴のみを用いた手法の中では3位であった。
• SIFT、C-SVDD、TPLBPの多様な特徴の統合を施した場合、M-NUAA手法はKinFaceW-IIデータセットで86.45％の平均正答率を達成し、すべての先行最先端手法を上回った。
• RSBMモデルは相対的類似性に関する事前知識を効果的に組み込み、三者間検証における耐性性と正確性を向上させた。
• 空間的に投票された特徴選択手法は、局所的な空間的コンテキストを保持する点で、グループラassoなどの従来のグループベース手法を上回った。
• 両親の画像が利用可能な場合、ワン・フォーセット・ワン親族関係検証の性能が顕著に向上し、実用的価値を示した。
• 1,000組を超える子と両親の家族を含む新たにリリースされた親族関係データベースは、今後の三者間親族関係検証研究における貴重なベンチマークを提供する。