[論文レビュー] Stating Comparison Score Uncertainty and Verification Decision Confidence Towards Transparent Face Recognition

Marco Huber, Philipp Terhörst+3 more|arXiv (Cornell University)|Oct 19, 2022

Face recognition and analysis被引用数 7

ひとこと要約

本稿では、顔認識における比較スコアの不確実性と意思決定の信頼性を推定することで、透明性と信頼性を向上させる手法を提案する。モンテカルロドロップアウトを活用してモデルの不確実性をスコアに伝播させ、スコアの不確実性に基づいた信頼性測度を導出することで、特にXQLFWのような困難なデータセットにおいて意思決定の信頼性が向上し、単にスコアとしきい値の距離に基づく直感的な信頼性よりも優れる。

ABSTRACT

Face Recognition (FR) is increasingly used in critical verification decisions and thus, there is a need for assessing the trustworthiness of such decisions. The confidence of a decision is often based on the overall performance of the model or on the image quality. We propose to propagate model uncertainties to scores and decisions in an effort to increase the transparency of verification decisions. This work presents two contributions. First, we propose an approach to estimate the uncertainty of face comparison scores. Second, we introduce a confidence measure of the system's decision to provide insights into the verification decision. The suitability of the comparison scores uncertainties and the verification decision confidences have been experimentally proven on three face recognition models on two datasets.

研究の動機と目的

• 法執行省やアクセス制御などのハイリスクな応用分野において顔認識意思決定の不透明性を是正すること。
• スコアとしきい値の距離に基づく直感的な信頼性を越えて、顔比較スコアの不確実性を推定すること。
• スコアの不確実性を組み込んだ意思決定の信頼性測度を導入し、より信頼できる認証結果を得ること。
• 複数の顔認識モデルとデータセットを用いて、提案された不確実性および信頼性測度の実用的有効性を評価すること。
• 不透明な意思決定がバイオメトリクスシステムに及ぼす倫理的・運用的リスクを強調し、透明性の重要性を提唱すること。

提案手法

• 推論時にモンテカルロドロップアウトを用いてモデルの不確実性を近似し、これを顔比較スコアに伝播させる。
• ドロップアウトを有効にした複数回の順方向伝搬における予測の分散としてスコアの不確実性を推定する。
• スコアとその推定不確実性の両方を関数として用い、学習可能なスケーリングパラメータαを含む意思決定の信頼性を定義する。
• 実運用上の制約を満たすために、運用ポイント（例：FMR@0.001）を用いて信頼性測度をキャリブレーションする。
• 等価ランク曲線（ERC）とヒートマップ可視化を用いて、提案手法と直感的な信頼性との比較評価を実施する。
• 3つの最先端顔認識モデル（ArcFace、MagFace、CurricularFace）を、2つのデータセット（Adience、XQLFW）に適用する。

実験結果

リサーチクエスチョン

• RQ1 モデルの不確実性を顔比較スコアに効果的に伝播させ、その信頼性を推定できるか？
• RQ2 スコアの不確実性に基づく提案された意思決定の信頼性測度は、スコアとしきい値の距離に基づく直感的な信頼性と比べてどのように異なるか？
• RQ3 スコアの不確実性を組み込むことで、特にクロス品質な画像ペアにおいて意思決定の信頼性が向上するか？
• RQ4 高不確実性の比較ペアをフィルタリングした際、提案された不確実性推定が誤り率をどの程度低減するか？
• RQ5 提案された信頼性測度は、実世界のバイオメトリクスシステムにおいて、信頼できない意思決定をよりよく特定できるか？

主な発見

• 提案されたスコアの不確実性推定は、信頼できない比較を効果的に特定し、高不確実性ペアをフィルタリングした際の誤り率が顕著に低下することが、等価ランク曲線（ERC）により示された。
• XQLFWデータセットでは、提案された意思決定の信頼性が直感的な信頼性を上回った。特に、高品質および低品質の画像ペアにおいて不確実性を組み込んだことが要因であった。
• ヒートマップ可視化から、提案された信頼性測度は、類似性と不確実性の両方を考慮するため、直感的な方法よりもより洗練され自然な信頼性の解釈を可能にした。
• 特に低偽陽性率（FMR@0.001）において意思決定の信頼性が明確に向上し、より困難なXQLFWデータセットで最も優れた性能を示した。
• 信頼性測度はしきい値依存であり、αパラメータによるキャリブレーションが可能で、運用環境での柔軟な適用が可能であった。
• 結果から、不確実性を考慮した顔認識が透明性を高め、ハイリスクな応用分野における倫理的に問題のある意思決定のリスクを低減できることを示した。