[論文レビュー] Learning Fair Rule Lists

Ulrich Aïvodji, Julien Ferry+3 more|arXiv (Cornell University)|Sep 9, 2019

Ethics and Social Impacts of AI参考文献 83被引用数 7

ひとこと要約

この論文では、複数の統計的公平性の概念にわたる公平性制約を満たしながら、証明可能に最適なルールリストを学習する多目的分枝限定法であるFairCORELSを提案する。実世界のデータセットにおいて、既存の解釈可能な公平モデルを上回り、非解釈可能な最先端手法と同等の精度／公平性のトレードオフを達成する。

ABSTRACT

As the use of black-box models becomes ubiquitous in high stake decision-making systems, demands for fair and interpretable models are increasing. While it has been shown that interpretable models can be as accurate as black-box models in several critical domains, existing fair classification techniques that are interpretable by design often display poor accuracy/fairness tradeoffs in comparison with their non-interpretable counterparts. In this paper, we propose FairCORELS, a fair classification technique interpretable by design, whose objective is to learn fair rule lists. Our solution is a multi-objective variant of CORELS, a branch-and-bound algorithm to learn rule lists, that supports several statistical notions of fairness. Examples of such measures include statistical parity, equal opportunity and equalized odds. The empirical evaluation of FairCORELS on real-world datasets demonstrates that it outperforms state-of-the-art fair classification techniques that are interpretable by design while being competitive with non-interpretable ones.

研究の動機と目的

• 解釈可能な公平分類手法における精度／公平性のトレードオフの悪さを是正すること。
• 本質的に透明で、証明可能に最適な解釈可能な公平モデルを設計すること。
• ルールリスト学習アルゴリズムであるCORELSに、複数の公平性定義にわたる公平性制約を追加すること。
• 多様な公平性指標を用いて、実世界のデータセット上で手法を評価すること。
• 解釈可能な公平モデルが、非解釈可能な最先端のベースラインと同等の性能を達成できることを示すこと。

提案手法

• FairCORELSは、分類誤差と不平等さの両方を同時に最小化する多目的最適化フレームワークをCORELSに拡張したものである。
• 統計的差別、等しい機会、等しいオッズ、予測の同等性、条件付き使用精度同等性といった複数の公平性概念をサポートする。
• タイトな下界と上界を用いた分枝限定法により、ルールリスト空間を効率的に探索する。
• 各公平性定義に適合した統計的差違指標を用いて不平等さを測定する。
• 支配されない解のパレートフロントを計算し、公平性と精度のバランスをとる。
• 公平性指標の選択に依存せず、異なる公平性定義の即座統合が可能である。

実験結果

リサーチクエスチョン

• RQ1 ルールリストモデルは、解釈可能性を保ちながら、高い精度と強い公平性保証を同時に達成できるか？
• RQ2 FairCORELSの性能は、最先端の解釈可能および非解釈可能な公平分類手法と比べてどうか？
• RQ3 複数の公平性制約のもとで、分枝限定法が公平ルールリストの学習にどの程度スケーリング可能か？
• RQ4 ルールリスト学習に公平性制約を組み込むと、非公平モデルと比較して精度が低下するか？
• RQ5 既存の解釈可能な公平モデルよりも、FairCORELSはより優れた公平性・精度のトレードオフを特定できるか？

主な発見

• FairCORELSは、AdultおよびCOMPASデータセットの両方において、既存の解釈可能な公平分類技術よりも公平性・精度のトレードオフにおいて優れている。
• Adultデータセットでは、SP制約付きのルールリストが80.1％の精度とたった1.9％の統計的差別不平等さを達成した。
• 同じデータセットにおいて、EOpp制約付きのルールリストは82.3％の精度と0.8％の等しい機会不平等さを達成した。
• COMPASでは、EOdds制約付きのルールリストが59.1％の精度と4.8％の等しいオッズ不平等さを達成し、不平等さを顕著に低減しながらも、妥当な精度を維持した。
• COMPASにおけるCUAE制約付きのルールリストは64.5％の精度とわずか0.9％の条件付き使用精度同等性不平等さを達成した。
• FairCORELSは、解釈可能なモデルが非解釈可能な公平モデルと同等の公平性・精度の性能を達成できることを示した。特にパレート最適領域において顕著であった。