[論文レビュー] Understanding bias in facial recognition technologies

David Leslie|arXiv (Cornell University)|Sep 26, 2020

Ethics and Social Impacts of AISocial Sciences被引用数 21

ひとこと要約

この論文は、歴史的な差別的パターンが顔認識技術（FDRT）に偏見を埋め込み、分布的不正義および認識的不正義を引き起こした仕組みを検討している。本研究は、FDRTにおける偏見の社会的・技術的起源を分析し、広範な監視の倫理的影響を評価するとともに、これらのシステムのより責任ある開発および導入のためのガバナンス枠組みを提言する。

ABSTRACT

Over the past couple of years, the growing debate around automated facial recognition has reached a boiling point. As developers have continued to swiftly expand the scope of these kinds of technologies into an almost unbounded range of applications, an increasingly strident chorus of critical voices has sounded concerns about the injurious effects of the proliferation of such systems. Opponents argue that the irresponsible design and use of facial detection and recognition technologies (FDRTs) threatens to violate civil liberties, infringe on basic human rights and further entrench structural racism and systemic marginalisation. They also caution that the gradual creep of face surveillance infrastructures into every domain of lived experience may eventually eradicate the modern democratic forms of life that have long provided cherished means to individual flourishing, social solidarity and human self-creation. Defenders, by contrast, emphasise the gains in public safety, security and efficiency that digitally streamlined capacities for facial identification, identity verification and trait characterisation may bring. In this explainer, I focus on one central aspect of this debate: the role that dynamics of bias and discrimination play in the development and deployment of FDRTs. I examine how historical patterns of discrimination have made inroads into the design and implementation of FDRTs from their very earliest moments. And, I explain the ways in which the use of biased FDRTs can lead distributional and recognitional injustices. The explainer concludes with an exploration of broader ethical questions around the potential proliferation of pervasive face-based surveillance infrastructures and makes some recommendations for cultivating more responsible approaches to the development and governance of these technologies.

研究の動機と目的

• 系統的差別および歴史的な差別が顔認識技術の設計および導入にどのように影響したかを調査すること。
• 分布的不正義および認識的不正義の観点から、偏ったFDRTの結果を分析すること。
• 民主的社会における顔認識監視インfraストラクチャの拡大がもたらす倫理的影響を検討すること。
• 責任ある開発およびガバナンスのための実行可能な提言を提示すること。

提案手法

• 歴史的・構造的不平等にさかのぼる偏見の原因をたどる、顔認識システムの批判的社会技術的分析を実施する。
• データ収集からモデルの導入に至るまでの技術的パイプラインを検討し、偏見が導入されるポイントを特定する。
• 倫理的枠組みを用いて、偏ったシステムがマイノリティコミュニティおよび市民の自由に与える影響を評価する。
• 顔認識技術の誤用事例を実世界の事例として評価し、システム的リスクを提示する。
• 透明性、責任性、監視メカニズムを含む、倫理的開発のためのガバナンス原則を提言する。
• コンピュータサイエンス、社会学、倫理学の知見を統合し、FDRTにおける人間中心設計の推進を提言する。

実験結果

リサーチクエスチョン

• RQ1 歴史的な差別的パターンは、顔認識技術の開発にどのように影響したか？
• RQ2 偏ったFDRTは、どのような形で分布的不正義および認識的不正義を引き起こすか？
• RQ3 包括的で顔ベースの監視インフラの拡大が、社会に及ぼすリスクは何か？
• RQ4 FDRTの導入による被害を軽減するための倫理的ガバナンス枠組みは、どのように設計できるか？
• RQ5 データ収集の実践およびアルゴリズム設計は、偏見をどのように継続的に生み出しているか？

主な発見

• 顔認識技術における偏見は、偶然的なものではなく、特にデータ収集およびラベリングプロセスにおいて、歴史的・構造的不平等に根ざしている。
• FDRTは、女性および有色人種の人物を特に誤認識しやすく、誤って逮捕されるなど、実際の被害を引き起こす。
• 顔認識監視の拡大は、監視が制限なく行われるようになり、プライバシーと自律性を損なうことで、民主的規範を侵すおそれがある。
• 認識的不正義とは、アルゴリズム的偏見によって個人が誤って分類されたり、認識されなかったりすることで生じるもので、サービスや権利のアクセスに影響を及ぼす。
• 現在のシステムはしばしば透明性と責任性に欠けているため、偏った結果を挑戦したり是正したりすることが難しい。
• 倫理的ガバナンスには、多分野連携、包括的設計、実効性のある監視体制が必要であり、被害を防ぎ、公平性を確保するためである。