[論文レビュー] Image Resolution Susceptibility of Face Recognition Models.

Martin Knoche, Stefan Hörmann+1 more|arXiv (Cornell University)|Jul 8, 2021

Face recognition and analysis参考文献 35被引用数 5

ひとこと要約

この論文は、特にクロス解像度ペアを対象として、画像解像度の変化に伴う顔認識性能の低下を調査する。低解像度データでの学習とコサイン距離損失を用いたシameseネットワークの2つの手法を提案し、5×5ピクセル解像度でも約70%の精度を達成するが、解像度ペアごとにモデルを再訓練する必要がある。

ABSTRACT

Face recognition approaches often rely on equal image resolution for verification faces on two images. However, in practical applications, those image resolutions are usually not in the same range due to different image capture mechanisms or sources. In this work, we first analyze the impact of image resolutions on the face verification performance with a state-of-the-art face recognition model. For images, synthetically reduced to $5\, imes 5\, \mathrm{px}$ resolution, the verification performance drops from $99.23\%$ increasingly down to almost $55\%$. Especially, for cross-resolution image pairs (one high- and one low-resolution image), the verification accuracy decreases even further. We investigate this behavior more in-depth by looking at the feature distances for every 2-image test pair. To tackle this problem, we propose the following two methods: 1) Train a state-of-the-art face-recognition model straightforward with $50\%$ low-resolution images directly within each batch. 2) Train a siamese-network structure and adding a cosine distance feature loss between high- and low-resolution features. Both methods show an improvement for cross-resolution scenarios and can increase the accuracy at very low resolution to approximately $70\%$. However, a disadvantage is that a specific model needs to be trained for every resolution-pair ...

研究の動機と目的

• 最先端の顔認識モデルを用いて、画像解像度が顔認証性能に与える影響を分析すること。
• 同一解像度ペアと比較して、高解像度と低解像度の画像を組み合わせたクロス解像度ペアにおける性能低下の程度を特定すること。
• 特にクロス解像度認証を想定した低解像度状態でも頑健な顔認識を実現するための手法を開発すること。
• 低解像度データでの専用トレーニング、または特徴量間の距離損失を用いたシameseアーキテクチャが、解像度に起因する性能低下を緩和できるかどうかを評価すること。

提案手法

• 低解像度画像（5×5ピクセルにダウンサンプリング）を50%のバッチ比で含めて、最先端の顔認識モデルを学習させ、低解像度入力への一般化性能を向上させること。
• 高解像度と低解像度の画像ペアを並列に処理するシameseネットワークアーキテクチャを設計し、共有された特徴抽出ブランチを備えること。
• 高解像度と低解像度の画像の特徴埋め込み間のコサイン距離損失を導入し、解像度の違いに関係なく特徴の類似性を促進すること。
• トリプルット損失と提案されたコサイン距離損失を組み合わせて、エンドツーエンドで最適化し、解像度レベル間での特徴の整合性を図ること。
• 特定の解像度ペアで最適なパフォーマンスを得るために、各解像度ペアごとに別々のモデルを訓練すること。
• 特徴距離解析と認証精度指標を用いて、クロス解像度認証タスクにおける性能を評価すること。

実験結果

リサーチクエスチョン

• RQ1 画像解像度が最先端の顔認識モデルの認証精度に与える影響は何か？
• RQ2 高解像度画像と低解像度画像を照合する際（クロス解像度ペア）、性能低下の程度はどの程度か？
• RQ3 低解像度画像での学習が、解像度変動に対するモデルの頑健性を向上させられるか？
• RQ4 高解像度と低解像度の特徴量間にコサイン距離損失を適用したシameseネットワークが、クロス解像度認証精度を向上させられるか？
• RQ5 提案手法が極めて低解像度（例：5×5ピクセル）でもどの程度の性能回復を実現できるか？

主な発見

• 高解像度での認証精度は99.23%であるが、画像を5×5ピクセルに縮小すると約55%に低下する。
• 同一解像度ペアと比較して、高解像度と低解像度の画像ペア（クロス解像度ペア）での認証精度はさらに低下する。
• 50%の低解像度画像を用いた学習手法により、クロス解像度性能が向上し、5×5ピクセル解像度でも約70%の精度を達成した。
• コサイン距離特徴損失を用いたシameseネットワークも、5×5ピクセル解像度で約70%の精度を達成した。
• 両手法とも低解像度およびクロス解像度状況での性能向上が顕著に認められたが、解像度ペアごとに再訓練が必要である。
• 特徴距離解析により、解像度の不一致がクラス間距離の増加を引き起こすことが確認され、解像度に配慮したトレーニングの必要性が裏付けられた。