[論文レビュー] There is an elephant in the room: Towards a critique on the use of fairness in biometrics

Ana María Cuadros Valdivia, Júlia Corbera-Serrajòrdia+1 more|arXiv (Cornell University)|Dec 16, 2021

COVID-19 Digital Contact Tracing被引用数 4

ひとこと要約

この論文は、移住管理に用いられるバイオメトリクスシステムにおけるアルゴリズム的公平性への注目が増すのを批判し、公平性指標が数学的に矛盾しており、バイオメトリクスに埋め込まれた根本的な政治的・歴史的不正義を解消できないと主張する。理論的および実証的に、公平なバイオメトリクスシステムは、矛盾する公平性定義と偏ったトレーニングデータのおかげで理論的に不可能であることが示され、公平性論議が、境界技術に内在する構造的差別と植民地的遺産から目を背かせていることが明らかになった。

ABSTRACT

In 2019, the UK's Immigration and Asylum Chamber of the Upper Tribunal dismissed an asylum appeal basing the decision on the output of a biometric system, alongside other discrepancies. The fingerprints of the asylum seeker were found in a biometric database which contradicted the appellant's account. The Tribunal found this evidence unequivocal and denied the asylum claim. Nowadays, the proliferation of biometric systems is shaping public debates around its political, social and ethical implications. Yet whilst concerns towards the racialised use of this technology for migration control have been on the rise, investment in the biometrics industry and innovation is increasing considerably. Moreover, fairness has also been recently adopted by biometrics to mitigate bias and discrimination on biometrics. However, algorithmic fairness cannot distribute justice in scenarios which are broken or intended purpose is to discriminate, such as biometrics deployed at the border. In this paper, we offer a critical reading of recent debates about biometric fairness and show its limitations drawing on research in fairness in machine learning and critical border studies. Building on previous fairness demonstrations, we prove that biometric fairness criteria are mathematically mutually exclusive. Then, the paper moves on illustrating empirically that a fair biometric system is not possible by reproducing experiments from previous works. Finally, we discuss the politics of fairness in biometrics by situating the debate at the border. We claim that bias and error rates have different impact on citizens and asylum seekers. Fairness has overshadowed the elephant in the room of biometrics, focusing on the demographic biases and ethical discourses of algorithms rather than examine how these systems reproduce historical and political injustices.

研究の動機と目的

• 移住管理に用いられるバイオメトリクスシステムにおける倫理的問題が公平性によって解決可能であるという仮定に挑戦すること。
• 機械学習における公平性定義が数学的に互いに排他的であることを示し、偏りのないバイオメトリクスシステムが理論的に不可能であることを証明すること。
• 主に性別、年齢、人種のグループにわたるバイオメトリクスシステムの不平等が、バイアス低減の主張にもかかわらず依然として顕著であることを実証的に示すこと。
• バイオメトリクスデータセットが、時代遅れで攻撃的なカテゴリーを用いることで、人種的・性別の階級制度を再現していることの特定。
• 公平性への注目が、バイオメトリクスシステムが境界管理と差別を助長するように設計されているという政治的現実を曇らせるという主張

提案手法

• 機械学習における公平性定義をバイオメトリクス文脈に翻訳する理論的分析により、数学的不整合性を証明すること。
• 先行するバイオメトリクス公平性研究からの実験を再現し、性的・人種的・年齢的グループにわたる公平性基準を実証的にテストすること。
• 年齢、性別、人種にわたる、人種的公平性、等しい機会、等価なオッズといった複数の基準を用いた公平性の評価。
• バイオメトリクス認証システムにおける意思決定閾値とその公平性への影響の分析。
• 人種的・性別の分類に問題のあるバイオメトリクストレーニングデータセットの批判的検証により、時代遅れで排除的な構造を明らかにすること。
• 境界研究と脱植民地理論を統合し、バイオメトリクスシステムを歴史的・政治的疎外の道具として位置づけること。

実験結果

リサーチクエスチョン

• RQ1 複数の公平性定義が数学的に矛盾する場合、移住管理の文脈でバイオメトリクスシステムが真に公平であることは可能か？
• RQ2 評価手法の欠陥を鑑みれば、既存のバイオメトリクス公平性研究が性的・人種的バイアスを正確に評価できているとどの程度言えるか？
• RQ3 バイオメトリクスデータセットは、分類手法を通じてどのように人種的・性別的階級制度を再現しているか？
• RQ4 移住管理の文脈で展開されるバイオメトリクスシステムを「公平である」とフレームする政治的結果は何か？
• RQ5 なぜ公平性への注目が、境界におけるバイオメトリクスシステムに埋め込まれた構造的不正義を覆すのか？

主な発見

• 機械学習における複数の公平性定義（例：人種的公平性、等しい機会、等価なオッズ）は数学的に互いに排他的であり、いかなるバイオメトリクスシステムも同時に満たすことは不可能である。
• 先行研究のバイオメトリクス公平性実験の再現により、最適な意思決定閾値でも、性別、年齢、人種のグループにわたる誤認証率・誤拒否率の顕著な差が確認された。
• バイオメトリクストレーニングデータセットは、非西洋人口を体系的に低く評価しており、時代遅れで攻撃的な人種的・性別的カテゴリーに依存しており、植民地的・父権的階級制度を強化している。
• バイオメトリクスシステムにおける意思決定閾値は公平性結果に顕著な影響を与えるが、大多数の研究は評価フレームワークでこれを考慮していない。
• 指紋静脈認識など一部のバイオメトリクスシステムが「バイアスフリー」な性能を主張しても、交差性や閾値感受性を無視した不適切な統計的評価手法のおかげで、その主張は裏付けられていない。
• EUの提案するAI規制は、移住管理に用いられる大規模なバイオメトリクスデータベースに対し、対応していないため、本質的に政治的・人種的偏見を持つシステムが規制されないまま残っている。