[論文レビュー] Learning Optimal and Fair Decision Trees for Non-Discriminative Decision-Making

Sina Aghaei, Mohammad Javad Azizi+1 more|arXiv (Cornell University)|Mar 25, 2019

Ethics and Social Impacts of AI参考文献 38被引用数 12

ひとこと要約

本稿では、社会的に感受性の高い意思決定における差別的取り扱いや差別的影響を両方最小化する最適かつ公平な意思決定木を学習するための混合整数最適化フレームワークを提案する。分類と回帰の両分野における公平性定義を統合することで、最先端のヒューリスティクスよりも高い精度と低い差別性を達成し、解釈可能で、偏りのあるデータセットおよび偏りのないデータセットの両方へ適用可能である。

ABSTRACT

In recent years, automated data-driven decision-making systems have enjoyed a tremendous success in a variety of fields (e.g., to make product recommendations, or to guide the production of entertainment). More recently, these algorithms are increasingly being used to assist socially sensitive decision-making (e.g., to decide who to admit into a degree program or to prioritize individuals for public housing). Yet, these automated tools may result in discriminative decision-making in the sense that they may treat individuals unfairly or unequally based on membership to a category or a minority, resulting in disparate treatment or disparate impact and violating both moral and ethical standards. This may happen when the training dataset is itself biased (e.g., if individuals belonging to a particular group have historically been discriminated upon). However, it may also happen when the training dataset is unbiased, if the errors made by the system affect individuals belonging to a category or minority differently (e.g., if misclassification rates for Blacks are higher than for Whites). In this paper, we unify the definitions of unfairness across classification and regression. We propose a versatile mixed-integer optimization framework for learning optimal and fair decision trees and variants thereof to prevent disparate treatment and/or disparate impact as appropriate. This translates to a flexible schema for designing fair and interpretable policies suitable for socially sensitive decision-making. We conduct extensive computational studies that show that our framework improves the state-of-the-art in the field (which typically relies on heuristics) to yield non-discriminative decisions at lower cost to overall accuracy.

研究の動機と目的

• 保護属性に基づく差別的取り扱いや差別的影響を引き起こす可能性のある自動意思決定システムにおける不公平性を是正すること。
• 分類と回帰のタスクの両方における公平性定義を統一し、一貫性のある公平性フレームワークを構築すること。
• 意思決定木における精度の最大化と差別の最小化を同時に達成する混合整数最適化アプローチを開発すること。
• 保護属性が存在しない場合でも相関関係が残る状況を含め、偏りのあるおよび偏りのないトレーニングデータセットの両方に適用可能であることを保証すること。
• 高リスクかつ倫理的に感受性の高い分野に適した、解釈可能で差別的でない意思決定ポリシーを生成すること。

提案手法

• 予測精度と公平性を同時に最適化する混合整数最適化問題（MIP）を定式化し、差別インデックス（DTDI）を制約またはペナルティとして用いる。
• ハイパーパrameter λ を用いて精度と公平性のバランスを取れる柔軟な目的関数を導入し、トレードオフ分析を可能にする。
• 保護群間での条件付き結果の差を測定することで不平等を定量化する距離関数 γ(x) = P(y|xₚ̄, xₚ) − P(y|xₚ̄) を使用する。
• 分類と回帰の両タスクにMIPフレームワークを適用し、それぞれに適した定式化を実施。スケーラビリティを高めるために近似距離関数（MIP-DT-A）を導入する。
• 最適な λ* を選択するためのk-fold交差検証戦略を採用し、差別性が 0.01% 未満となるようにしつつ精度を最大化する。
• Gurobi を Julia の JuMP を介して使用し、5〜10時間の時間制限内でMIPを解き、解法時間と収束行動を報告する。

実験結果

リサーチクエスチョン

• RQ1 意思決定木における分類と回帰の両タスクに統一された公平性フレームワークを構築できるか？
• RQ2 提案されたMIPベースのアプローチは、ヒューリスティクスベースラインと比較して、公平性と精度のトレードオフにおいてどのように異なるか？
• RQ3 本手法は、偏りのあるおよび偏りのないデータセットの両方において、差別的取り扱いや差別的影響をどの程度低減できるか？
• RQ4 最適化された意思決定木における解釈可能性（木の深さを用いて）と公平性・精度の関係はいかなるものか？
• RQ5 MIPフレームワークは、時間的に敏感な予測シナリオにおける実用的導入に耐えるほど迅速に近似的最適解を生成できるか？

主な発見

• Adultデータセットにおいて、MIP-DTはCARTよりも顕著に低い差別性（0.32% DTDIs）を達成しながらも、より高い精度を維持した。
• 分類データセットにおいて、MIP-DTはfair logおよびDADTベースラインを精度面で上回り、ほぼゼロの差別性を達成した。
• 回帰タスクにおいて、MIP-DTは個別またはグループの公平性ペナルティを課した線形回帰（LR-ind/grp）よりも顕著に低い平均絶対誤差（MAE）を達成した。平均解法時間は36,007秒であったのに対し、LR-ind/grpはそれぞれ0.38/0.33秒であった。
• 3つの分類データセットにおけるMIP-DTの平均トレーニング時間は18,161.64秒であり、ベースラインより顕著に長かったが、優れた公平性と精度の恩恵から妥当であった。
• 通常、数分以内に近似的最適解が得られるため、高い計算コストにもかかわらず実用的妥当性が示された。
• 訓練済みのMIPベースの木を用いた予測推論は極めて高速（ミリ秒単位）であり、長時間のトレーニングにもかかわらず、実装が可能であることが示された。