[論文レビュー] Demographic Bias in Presentation Attack Detection of Iris Recognition Systems

Meiling Fang, Naser Damer+2 more|arXiv (Cornell University)|Mar 6, 2020

Biometric Identification and Security参考文献 23被引用数 7

ひとこと要約

本研究は、虹彩提示攻撃検出（PAD）システムにおける人種的バイアスを調査し、初めて差別の的パフォーマンスと差別の的結果の概念をPADに適応した。NDCLD-2013データベースを用いて、手作業特徴抽出（LBP）、転移学習（MobileNetV3-Small）、訓練から再構築（VGG-16）の手法を用い、著者らは女性においてPADシステムが一貫して性能が低いことを発見した。LBPでは女性のBPCERが42.60%、男性では21.85%に達し、攻撃検出精度における顕著な性別バイアスを示している。

ABSTRACT

With the widespread use of biometric systems, the demographic bias problem raises more attention. Although many studies addressed bias issues in biometric verification, there are no works that analyze the bias in presentation attack detection (PAD) decisions. Hence, we investigate and analyze the demographic bias in iris PAD algorithms in this paper. To enable a clear discussion, we adapt the notions of differential performance and differential outcome to the PAD problem. We study the bias in iris PAD using three baselines (hand-crafted, transfer-learning, and training from scratch) using the NDCLD-2013 database. The experimental results point out that female users will be significantly less protected by the PAD, in comparison to males.

研究の動機と目的

• 虹彩PADシステムにおける人種的バイアスを調査すること。これはバイオメトリクス分野でこれまで未検討であった分野である。
• 検証特化のバイアス概念（差別の的パフォーマンスおよび差別的結果）をPAD文脈に適応し、体系的な分析を可能にする。
• 訓練データのバイアスが男性および女性の人口統計的グループにわたるPADパフォーマンスに与える影響を評価すること。
• 複数のアルゴリズム的手法を用いて、PAD精度における性別格差がどのように生じるかを同定すること。
• 虹彩PADにおける性別間の保護の不均等性を、訓練データ条件の変化に応じて実証的根拠を提示すること。

提案手法

• バイオメトリクス検証から適応した用語「差別的パフォーマンス」と「差別的結果」を用い、攻撃および本物の提示分類誤差率に焦点を当ててPADバイアスを分析した。
• 3つのPADベースラインを評価した：手作業特徴抽出のLBP、転移学習に基づくMobileNetV3-Small、NDCLD-2013データベース上で訓練から再構築したVGG-16。
• 2つの実験設定を実施した：混合性別の訓練データと、性別別（男性専用または女性専用）の訓練データ。
• APCER（攻撃提示分類誤差率）とBPCER（本物提示分類誤差率）を主な指標とし、開発セットにおける固定APCERに基づいてしきい値を選択した。
• 全PADパフォーマンスを評価するためにHTER（半分合計誤差率）を測定した。
• 異なる訓練およびテスト設定下での男性および女性被験者間の誤差率比較を通じて、パフォーマンスの差を分析した。

実験結果

リサーチクエスチョン

• RQ1 虹彩提示攻撃検出システムに人種的バイアスが存在するか、特に男性および女性被験者間の差別的パフォーマンスの観点から、そのようなバイアスが存在するか？
• RQ2 訓練データ構成（混合対単一性別）がPADアルゴリズムの公平性に与える影響は？
• RQ3 特定のPADアルゴリズムは、女性被験者に対する攻撃検出において、他のアルゴリズムよりも性別バイアスにさらされやすいか？
• RQ4 複数のPADベースラインにわたって、男性および女性被験者間の誤差率（APCER、BPCER、HTER）にどの程度の差が生じるか？
• RQ5 観察されたバイアスは、訓練セット内での女性サンプルの不足または不均衡に起因するものか？

主な発見

• LBP法は女性において顕著に高いBPCER（42.60%）を示した一方で、男性では21.85%であったため、女性の検出精度が著しく低いことが示された。
• 混合データで訓練したMobileNetV3-Smallは、女性においてAPCERが9.23%、男性では8.11%であったため、女性の攻撃検出能力が低下していることが示唆された。
• 女性データに特化して訓練したVGG-16は、女性ではBPCERが0%であったが、男性の攻撃サンプルの100%を本物と誤分類した。これは顕著な一般化失敗を示している。
• 性別別訓練の設定では、LBPのHTERは女性で30.36%、男性で23.29%であった。これは女性において全体的なパフォーマンスが劣っていることを確認した。
• 本物サンプル数が等しい状況下でも、LBP法の女性におけるHTER（25.53%）は男性（21.85%）を上回っており、女性の攻撃分類に inherently 困難があることを示している。
• 女性データで訓練したVGG-16モデルは、混合テストデータでHTERが50.00%であったが、男性データで訓練した同じモデルでは9.19%にとどまり、一般化における強い性別バイアスを示している。