[論文レビュー] Characterizing the Variability in Face Recognition Accuracy Relative to Race

KS Krishnapriya, Kushal Vangara+3 more|arXiv (Cornell University)|Apr 15, 2019

Face recognition and analysis参考文献 10被引用数 44

ひとこと要約

この論文は、MORPH における African-American と Caucasian コホート間で顔認識の精度がどのように異なるかを、4つのマッチャーで調査し、 impostor および genuine 分布に統計的に有意な差を示し、固定閾値下での ROC 比較の限界を強調しています。また ICAO 標準による画像品質を検討し、品質の差が精度に影響を与えることを明らかにしています。

ABSTRACT

Many recent news headlines have labeled face recognition technology as biased or racist. We report on a methodical investigation into differences in face recognition accuracy between African-American and Caucasian image cohorts of the MORPH dataset. We find that, for all four matchers considered, the impostor and the genuine distributions are statistically significantly different between cohorts. For a fixed decision threshold, the African-American image cohort has a higher false match rate and a lower false non-match rate. ROC curves compare verification rates at the same false match rate, but the different cohorts achieve the same false match rate at different thresholds. This means that ROC comparisons are not relevant to operational scenarios that use a fixed decision threshold. We show that, for the ResNet matcher, the two cohorts have approximately equal separation of impostor and genuine distributions. Using ICAO compliance as a standard of image quality, we find that the initial image cohorts have unequal rates of good quality images. The ICAO-compliant subsets of the original image cohorts show improved accuracy, with the main effect being to reducing the low-similarity tail of the genuine distributions.

研究の動機と目的

• 顔認識の精度における人種関連のばらつきを理解する動機づけ。
• 複数のマッチャーにわたって、African-American コホートと Caucasian コホート間の分布差を定量化する。
• 固定閾値運用条件が ROC ベースの比較に与える影響を評価する。
• 観察された精度差に対する画像品質（ICAO 標準）の役割を評価する。

提案手法

• MORPH データセットからの African-American コホートと Caucasian コホートを、4 つのマッチャーで比較する。
• コホート間の impostor および genuine スコア分布の統計的差を分析する。
• 固定 false match 率での検証率を比較するために ROC 曲線を用い、閾値の含意を議論する。
• ICAO 準拠を画像品質の標準として適用し、精度への影響を検討する。
• 画像品質の変化がスコア分布の裾にどのような影響を与えるかを調査する。

実験結果

リサーチクエスチョン

• RQ1 研究対象のマッチャーに対して、African-American コホートと Caucasian コホートの impostor および genuine スコア分布は異なるか？
• RQ2 固定決定閾値がコホート間の ROC ベースの比較にどのような影響を与えるか？
• RQ3 ICAO 準拠の画像品質が顔認識の精度と分布の裾にどのような影響を与えるか？
• RQ4 異なるマッチャー間で impostor と genuine の分離に等価性があるか？
• RQ5 観察された性能差を画像品質の差異がどの程度説明するか？

主な発見

• 4つのマッチャーすべてにおいて、African-American コホートと Caucasian コホートの impostor および genuine 分布は統計的に異なる。
• 固定決定閾値では、African-American コホートは偽陽性マッチ率が高く、偽陰性非一致率が低い。
• ROC 曲線はコホート間で異なる閾値でも同じ false match rate を示し、固定閾値の運用シナリオには ROC 比較が適切でない可能性を示唆している。
• ResNet マッチャーでは、2つのコホート間で impostor と genuine 分布の分離がほぼ等しい。
• ICAO 準拠のコホートのサブセットは、genuine 分布の低類似度の裾を減らすことにより精度を向上させる。