[論文レビュー] Discrimination in the Age of Algorithms

Jon Kleinberg, J. Ludwig+2 more|arXiv (Cornell University)|Feb 11, 2019

Human Rights and Immigration被引用数 4

ひとこと要約

この論文は、法的および社会的文脈における差別検出にアルゴリズムが与える影響を検討し、アルゴリズムが不透明である一方で、意思決定プロセスにおける透明性と監査可能性を高められることを主張している。明確な特定と追跡可能性を強制することで、適切に設計されたアルゴリズムシステムは、差別のを検出・挑戦しやすくする。したがって、適切に規制されれば、公平性を促進するためのツールとして機能する。

ABSTRACT

The law forbids discrimination. But the ambiguity of human decision-making often makes it extraordinarily hard for the legal system to know whether anyone has actually discriminated. To understand how algorithms affect discrimination, we must therefore also understand how they affect the problem of detecting discrimination. By one measure, algorithms are fundamentally opaque, not just cognitively but even mathematically. Yet for the task of proving discrimination, processes involving algorithms can provide crucial forms of transparency that are otherwise unavailable. These benefits do not happen automatically. But with appropriate requirements in place, the use of algorithms will make it possible to more easily examine and interrogate the entire decision process, thereby making it far easier to know whether discrimination has occurred. By forcing a new level of specificity, the use of algorithms also highlights, and makes transparent, central tradeoffs among competing values. Algorithms are not only a threat to be regulated; with the right safeguards in place, they have the potential to be a positive force for equity.

研究の動機と目的

• アルゴリズム意思決定が差別禁止法の検出および施行に与える影響を分析すること。
• 実際の運用において、アルゴリズムが差別ののリスクを増大させるか、それとも低減させるかを調査すること。
• アルゴリズムシステムにおける透明性、公平性、責任の取り方の間のトレードオフを検討すること。
• アルゴリズムシステムがどのように設計されれば、公平性を高め、バイアスを低減できるかを特定すること。
• 法的および倫理的監視の観点から、意思決定プロセスをより厳密に検証可能にするために、アルゴリズムが果たす役割を評価すること。

提案手法

• 論文は、アルゴリズム意思決定と差別禁止法の関係を検討するために、概念的および法的分析を用いる。
• コンピュータサイエンス、人工知能、社会科学の原則を活用し、アルゴリズムの透明性と監査可能性を評価する。
• 雇用、融資、刑事司法など、高水準の意思決定にアルゴリズムが使用された事例を検討する。
• プロセスの追跡可能性と分析可能性を高めることで、アルゴリズムシステムは意思決定の曖昧さを低減できると提言する。
• 本手法は、責任の取り方と公平性の評価を組み込んだ仕組みを備えたシステム設計の重要性を強調する。
• 数学的・認知的不透明性を含めた分析を行い、これらが差別のの法的証明に与える影響を検討する。

実験結果

リサーチクエスチョン

• RQ1 アルゴリズムは意思決定プロセスにおける差別の検出可能性にどのように影響するか？
• RQ2 アルゴリズムシステムは、高水準の意思決定において、透明性と監査可能性をどの程度向上できるか？
• RQ3 アルゴリズムシステムにおける公平性、正確性、透明性の間にはどのようなトレードオフがあるか？
• RQ4 アルゴリズムシステムは、バイアスを拡大するのではなく、バイアス低減のためのツールとして機能できるか？
• RQ5 法的制度は、差別禁止事件における証拠として、アルゴリズムプロセスをどのように活用できるか？

主な発見

• アルゴリズムは意思決定の曖昧さを低減し、人間の不透明な意思決定と比較して、差別のの検出および証明を容易にする。
• 潜在的な不透明性があるものの、監査可能性を念頭に設計されたアルゴリズムシステムは、より高い透明性を提供できる。
• アルゴリズムの使用は意思決定者に明確さを要求するため、競合する価値の間のトレードオフが露呈される。
• 適切な保護策を講じれば、アルゴリズムは公平性の促進とバイアス低減のための肯定的ツールとなる。
• 法的制度はアルゴリズムの透明性から利益を受けることができ、意思決定のより厳密な検証が可能になる。
• 論文は、アルゴリズム自体が本質的に差別的であるとは限らず、公平性を確保するためには規制および設計フレームワークが必要であると結論づける。