[論文レビュー] Wrong side of the tracks: Big Data and Protected Categories

Simon DeDeo|arXiv (Cornell University)|Dec 15, 2014

Adversarial Robustness in Machine Learning参考文献 15被引用数 11

ひとこと要約

この論文は、Big Dataにおけるアルゴリズム的差別という倫理的課題に取り組み、データ内の強い相関関係によって機械学習モデルが保護対象分類（例：人種、性別）に基づいて意図せず意思決定を行うことがあることを示している。情報理論を用いて予測を保護対象変数から相関をなくすことで、精度の損失を最小限に抑えつつ、倫理的透明性と民主的責任を確保するための今後の因果関係に配慮したアルゴリズムの開発を提言している。

ABSTRACT

When we use machine learning for public policy, we find that many useful variables are associated with others on which it would be ethically problematic to base decisions. This problem becomes particularly acute in the Big Data era, when predictions are often made in the absence of strong theories for underlying causal mechanisms. We describe the dangers to democratic decision-making when high-performance algorithms fail to provide an explicit account of causation. We then demonstrate how information theory allows us to degrade predictions so that they decorrelate from protected variables with minimal loss of accuracy. Enforcing total decorrelation is at best a near-term solution, however. The role of causal argument in ethical debate urges the development of new, interpretable machine-learning algorithms that reference causal mechanisms.

研究の動機と目的

• 保護対象分類（例：人種、性別、社会経済的地位）との相関に依存することで、Big Dataアルゴリズムが倫理的に問題のある意思決定を生じる仕組みを特定すること。
• 因果的透明性が欠如している場合、正確で意図の良いアルゴリズムでも差別を継続的または拡大させることを示すこと。
• 予測精度の著しい損失なしに保護対象変数への依存を低減する近い将来の技術的解決策として、情報理論的相関除去を提言すること。
• 政策および統治分野における倫理的で民主的な意思決定を支援できる、解釈可能な因果的機械学習モデルの開発を提唱すること。
• アルゴリズムの透明性と一般市民による議論を促進するため、『アルゴリズムの箱』を開き、自動化システムに隠された仮定や道徳的根拠を検証可能にする必要性を強調すること。

提案手法

• 情報理論を用いて数学的に予測を劣化させ、保護対象変数から相関をなくすことで、精度の損失を最小限に抑える。
• 結果の平等化を制限ケースとして用い、保護対象変数との相関を除去した際の影響を評価する。
• 寄与度伝播とベイジアンリストマシンを、不透明なアルゴリズムに埋め込まれた暗黙の因果モデルを逆算的に解明するための新興技術として提案する。
• 因果的推論の枠組みを用いて、アルゴリズムの意思決定が倫理的基準と一致するかどうかを評価し、特に量刑や融資の文脈で検証する。
• 予測と保護対象属性との間の統計的独立性を強制しつつ、予測性能を維持する手法を導入する。
• 企業および政府が、一般および専門家による検証を可能にするために、アルゴリズムの主要な特徴を公表する制度的コミットメントを求める。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルが保護対象分類（例：人種、性別）を明示的に使用しない場合でも、データの相関関係によってそれらに基づいて意図せず意思決定を行う仕組みは何か？
• RQ2 保護対象変数（例：人種、性別）からの相関を除去しながら、予測精度をどの程度維持できるか？
• RQ3 暗黙の因果モデルを埋め込んだ不透明なアルゴリズムから、逆算的にそのモデルを解明するための数学的・計算的手法は何か？
• RQ4 高性能なアルゴリズムに因果的説明がない場合、民主的議論と倫理的責任の両方がどのように損なわれるか？
• RQ5 情報理論的手法が、より透明性があり倫理的に整合性のあるアルゴリズム的意思決定へとつなげる橋渡しとして果たす役割は何か？

主な発見

• 保護対象分類（例：人種、性別）と非保護変数（例：買い物の傾向、電力使用量）との強い相関関係は、それら分類がモデルに明示的に使われない場合でも間接的差別を生じる可能性がある。
• 情報理論的相関除去により、保護対象変数からの独立性を予測に確保しつつ、精度の損失を最小限に抑えられる。これは、アルゴリズムバイアスに対する実用的で近い将来の解決策である。
• 結果の平等化法は制限ケースとして機能し、モデルの予測が保護対象属性にどの程度依存しているかを明らかにし、問題のある相関関係を浮き彫りにする。
• 現在の高性能なアルゴリズムはしばしば因果的説明を提供しないため、意思決定が倫理的に正当化可能かどうか、あるいは単に統計的に都合がよいだけかどうかを評価することが困難である。
• 透明性がなければ、市民や政策立案者が公共政策を形作るモデルを検証できないため、公平性や正義に関する民主的議論は不可能になる。
• 寄与度伝播やベイジアンリストマシンといった、解釈可能で因果的な機械学習モデルの開発は、倫理的で透明性があり、責任をもてるアルゴリズムシステムへの道筋を示している。