[論文レビュー] Eight Years of Face Recognition Research: Reproducibility, Achievements and Open Issues

Tiago de Freitas Pereira, Dominic Schmidli+4 more|arXiv (Cornell University)|Aug 8, 2022

Face recognition and analysis被引用数 7

ひとこと要約

この論文は、6つのデータセットおよび5つのディープラーニングモデルを用いて、8年間の顔認識の進歩を再現可能でオープンソースのフレームワークで評価する。顔認識の分野では、遮蔽、表情、照度の問題が現在の最先端モデルによってうまく管理されている一方、60°を超えるポーズ変動、低解像度画像、オープンセット認識は依然として大きな課題であり、低品質な条件下ではSCfaceでFNMRが69%に達する。

ABSTRACT

Automatic face recognition is a research area with high popularity. Many different face recognition algorithms have been proposed in the last thirty years of intensive research in the field. With the popularity of deep learning and its capability to solve a huge variety of different problems, face recognition researchers have concentrated effort on creating better models under this paradigm. From the year 2015, state-of-the-art face recognition has been rooted in deep learning models. Despite the availability of large-scale and diverse datasets for evaluating the performance of face recognition algorithms, many of the modern datasets just combine different factors that influence face recognition, such as face pose, occlusion, illumination, facial expression and image quality. When algorithms produce errors on these datasets, it is not clear which of the factors has caused this error and, hence, there is no guidance in which direction more research is required. This work is a followup from our previous works developed in 2014 and eventually published in 2016, showing the impact of various facial aspects on face recognition algorithms. By comparing the current state-of-the-art with the best systems from the past, we demonstrate that faces under strong occlusions, some types of illumination, and strong expressions are problems mastered by deep learning algorithms, whereas recognition with low-resolution images, extreme pose variations, and open-set recognition is still an open problem. To show this, we run a sequence of experiments using six different datasets and five different face recognition algorithms in an open-source and reproducible manner. We provide the source code to run all of our experiments, which is easily extensible so that utilizing your own deep network in our evaluation is just a few minutes away.

研究の動機と目的

• 標準化されたオープンソースの評価フレームワークを用いて、過去8年間の顔認識研究の再現性と進歩を評価すること。
• ポーズ、遮蔽、照度、解像度、表情といった要因が、現代のディープラーニングベースの顔認識システムに与える影響を分離して評価すること。
• 実証的評価に基づいて、顔認識のどの側面が現在はうまく解決されており、どの側面が未解決の問題であるかを特定すること。
• 他の研究者が再現可能にし、自らのディープネットワークを評価パイプラインに統合できるように、公開可能なソースコードを提供すること。

提案手法

• 研究では、すべての実験においてデータ前処理、特徴抽出、評価プロトコルを標準化するため、オープンソースのBobフレームワークが採用された。
• 6つのベンチマークデータセットを用いて、5つの最先端の顔認識モデル（ArcFace-100、ArcFace-200、Zoo-AttentionNet、Idiap-ResNet-50、FaceNet-Sandberg）が評価された。
• 実験は、特定の課題を分離するように設計されたもので、ポーズ変動（Multi-PIE）、遮蔽（AR）、照度（Multi-PIE）、低解像度画像（GBU、SCface）、オープンセット認識（IJB-C）を対象とした。
• すべてのモデルに一貫した画像アラインメント手順が適用されたほか、ArcFace や AttentionNet のようなモデルのアラインメントを逆工程解析し、標準化する努力がなされた。
• 評価指標には、固定FMR（0.1%）およびFPIR（0.1%および100%）におけるFNMRが含まれ、制約付きおよび現実的状況下での性能を評価した。
• すべてのコード、ハイパーパramータ、実験設定が公開され、完全な再現可能性と拡張性を確保した。

実験結果

リサーチクエスチョン

• RQ1 過去8年間のディープラーニングベースの顔認識モデルが、ポーズ、遮蔽、照度、表情といった要因に対してどれほど効果的に解決しているか。
• RQ2 最先端の顔認識モデルは、低解像度画像、強いポーズ変動、またはオープンセット識別といった極端な条件下で、どの程度の性能を示すか。
• RQ3 標準化されたオープンソースの評価フレームワークを用いることで、現代の顔認識システムの性能をどの程度再現可能かつ検証可能にすることができるか。
• RQ4 ArcFace などの特定の損失関数が、困難な要因にわたる認識の頑健性を向上させる役割を果たす程度はどの程度か。

主な発見

• ArcFace-100 および Zoo-AttentionNet は、遮蔽のARデータセットにおいて、FMR 0.1% で 0% のFNMRを達成し、従来のシステムに比べて顕著な改善を示した。
• スマートフォン用データセット（MOBIO）における顔認識性能は著しく向上し、表情の変化に対してFNMRが44%から0%に低下した。
• ±60°までのポーズ変動はうまく処理されたが、この範囲を超えると性能が急激に低下し、特にMulti-PIEで顕著であった。
• 低解像度および低品質のプローブ画像では、極めて高い失敗率が観察された。ArcFace-100 は 'far' プロトコル下でSCfaceでFNMRが69%に達し、大きな未解決課題であることを示した。
• オープンセット認識は依然として大きな問題であり、IJB-CではFPIR=100%のとき90%の認識率から、FPIR=0.1%ではわずか35%に低下し、理想化された環境と現実世界の性能格差を浮き彫りにした。
• 進歩にもかかわらず、再現性は依然として問題であり、ArcFace のような主要モデルでは事前学習済み重みが削除されたり、アラインメント手順が変更されたりしており、一貫性の欠如が生じている。