[論文レビュー] Challenge report: Recognizing Families In the Wild Data Challenge

Zhipeng Luo, Zhiguang Zhang+2 more|arXiv (Cornell University)|May 30, 2020

Demographic Trends and Gender Preferences参考文献 9被引用数 5

ひとこと要約

本論文は、深層度量学習と二重対称シアンセスネットワークを用いた、制約のない現実世界の画像における自動的血縁関係認識の手法を提示する。高解像度入力と積極的なネガティブサンプリングを活用することで、著者らは「Recognizing Families In the Wild (RFIW) 2020」チャレンジにおいて、特徴埋め込みと分類精度の向上により、先行手法を上回る最先端の性能を達成した。

ABSTRACT

This paper is a brief report to our submission to the Recognizing Families In the Wild Data Challenge (4th Edition), in conjunction with FG 2020 Forum. Automatic kinship recognition has attracted many researchers' attention for its full application, but it is still a very challenging task because of the limited information that can be used to determine whether a pair of faces are blood relatives or not. In this paper, we studied previous methods and proposed our method. We try many methods, like deep metric learning-based, to extract deep embedding feature for every image, then determine if they are blood relatives by Euclidean distance or method based on classes. Finally, we find some tricks like sampling more negative samples and high resolution that can help get better performance. Moreover, we proposed a symmetric network with a binary classification based method to get our best score in all tasks.

研究の動機と目的

• 視覚的手がかりが限られ、変動しやすい制約のない現実世界の画像において、家族関係を認識する課題に対処すること。
• 深層特徴埋め込みと効果的なトレーニング戦略を活用して、自動血縁関係認識のパフォーマンスを向上させること。
• データ拡張、解像度、およびサンプリング技術がモデルの汎化性能と正確性に与える影響を調査すること。
• 血縁関係認識に最適化された、対称的で頑健なネットワークアーキテクチャを構築すること。

提案手法

• 顔画像から高レベルの深層埋め込み特徴を抽出するために、深層度量学習を採用した。
• 学習済み埋め込みを用いて、ペアの顔を比較する対称的シアンセスニューラルネットワークアーキテクチャを設計した。
• 埋め込みの類似度に基づいて、血縁関係ペアと非血縁関係ペアを区別するためのバイナリ分類損失を使用した。
• トレーニング中に高解像度画像入力と増強されたネガティブサンプリングを適用した。
• コントラスト損失およびトリプルット損失の変種を最適化することで、血縁関係ペアと非血縁関係ペアの埋め込み分離を向上させた。
• RFIWテストセット上で、ユークリッド距離と分類しきい値を用いてモデルのパフォーマンスを評価した。

実験結果

リサーチクエスチョン

• RQ1 異なる深層特徴抽出手法が、制約のない環境における血縁関係認識パフォーマンスに与える影響は何か？
• RQ2 高解像度入力とネガティブサンプリングが、血縁関係認識におけるモデルの汎化性能に与える影響は何か？
• RQ3 バイナリ分類を用いた対称的シアンセスネットワークは、RFIWベンチマークにおいて従来の度量学習アプローチを上回ることができるか？
• RQ4 損失関数の選択やサンプリング比といったトレーニング戦略が、最終的な正確性に与える影響は何か？

主な発見

• 対称的シアンセスネットワークとバイナリ分類は、RFIW 2020 チャレンジのすべてのタスクで最高のパフォーマンスを達成した。
• 高解像度入力画像は、特徴表現とモデルの正確性を顕著に向上させた。
• トレーニング中に積極的なネガティブサンプリングを実施することで、血縁関係ペアと非血縁関係ペアの識別能力が向上した。
• 深層度量学習と最適化されたサンプリング戦略の組み合わせにより、ベースライン手法を上回る優れたパフォーマンスが得られた。