[論文レビュー] Fair Forests: Regularized Tree Induction to Minimize Model Bias

Edward Raff, Jared Sylvester+1 more|arXiv (Cornell University)|Dec 21, 2017

Ethics and Social Impacts of AI参考文献 13被引用数 9

ひとこと要約

この論文では、モデルバイアスを最小化する最初の正則化付き木のインダクション手法であるFair Forestを紹介する。保護された属性に依存することを罰するようにスプリット基準を変更することで、ハイパーパrameterチューニングを必要とせず、分類および回帰タスクにおいて最先端の公平性と精度を達成する。多値および連続特徴をサポートする。

ABSTRACT

The potential lack of fairness in the outputs of machine learning algorithms has recently gained attention both within the research community as well as in society more broadly. Surprisingly, there is no prior work developing tree-induction algorithms for building fair decision trees or fair random forests. These methods have widespread popularity as they are one of the few to be simultaneously interpretable, non-linear, and easy-to-use. In this paper we develop, to our knowledge, the first technique for the induction of fair decision trees. We show that our "Fair Forest" retains the benefits of the tree-based approach, while providing both greater accuracy and fairness than other alternatives, for both "group fairness" and "individual fairness.'" We also introduce new measures for fairness which are able to handle multinomial and continues attributes as well as regression problems, as opposed to binary attributes and labels only. Finally, we demonstrate a new, more robust evaluation procedure for algorithms that considers the dataset in its entirety rather than only a specific protected attribute.

研究の動機と目的

• 機械学習における解釈性とパフォーマンスの高さにもかかわらず、公平な意思決定木およびランダムフォレストアルゴリズムの欠如に取り組む。
• 二値の保護された属性だけでなく、多値および連続特徴に対しても公平性を保証する手法を開発すること。
• 事前に定義された保護された属性に限らず、データセット内の任意の特徴に対して均等に差別のを低減する正則化ベースのアプローチを構築すること。
• 二値ラベルを超えて、回帰および多クラス問題に適した新しい公平性指標を導入すること。
• 特定の1つの保護された属性に注目するのではなく、すべての特徴を一体的に考慮する包括的な方法で公平性を評価すること。

提案手法

• 保護された属性に強く依存するスプリットに対して、情報ゲインを罰する正則化付きスプリット基準を木のインダクションに提案する。
• Gini不純度または分散低減のスプリット選択時に、保護された特徴への依存を避けるように、公平性正則化項を導入する。
• 一般化された差別測度を用いて、多値および連続特徴の保護された属性、および回帰ターゲットを扱えるように公平性指標を拡張する。
• 1つの保護された属性にのみ注目するのではなく、データセット内のすべての特徴を対象に公平性をテストする、革新的な評価フレームワークを採用する。
• ハイパーパrameterチューニングなしで、標準のランダムフォレストトレーニングパイプラインを維持する。
• 特徴の重要度分析を用いて、公平性を適用した後のモデル行動の変化を明らかにし、バイアス低減の監査可能性を高める。

実験結果

リサーチクエスチョン

• RQ1 予測精度と解釈性を維持しつつ、モデルバイアスを最小化する正則化付き木のインダクションアルゴリズムを設計できるか？
• RQ2 連続的および多値の保護された属性に対しても、公平性を測定・強制できるか？（二値のものに限らない。）
• RQ3 提案手法は、意図された保護された属性に限らず、データセット内のすべての特徴に対して均等に差別を低減するか？
• RQ4 ハイパーパrameterチューニングを必要とせず、かつモデルパフォーマンスを損なわずに公平性の向上を達成できるか？
• RQ5 公平性を適用した後、モデルの特徴の重要度はどのように変化するのか？また、これによりデータバイアスに関する何らかの洞察が得られるか？

主な発見

• GermanおよびHealthデータセットにおいて、Fair Forest手法はすべての特徴に対して差別をゼロに低下させ、精度を損なわず完璧な公平性を達成した。
• Adultデータセットでは、平均的な差別度が0.2971から0.1253に低下し、平均精度は0.854から0.804にわずかに低下した。
• 特徴の重要度分析により、大多数の特徴の相対的重要度が逆転した。例えば、Germanデータセットでは、checking-statusの重要度が低下し、housingの重要度が上昇した。
• Adultデータセットでは、capital-gainおよびcapital-lossが性別と高い相関を示していたため、Fair Forestによって優先度が下がった。これは、データ収集段階での潜在的なバイアスを示唆している。
• すべてのデータセットにおいて、保護された属性に限定されない、すべての特徴に対して均等に差別を低減した。これは、事前に選択された保護された属性を超えた堅牢性を示している。
• このアプローチはハイパーパrameterチューニングを一切必要とせず、標準のランダムフォレストの「即効性（just works）」特性を維持しながら、公平性を向上させた。