[論文レビュー] Assessing Fairness in Classification Parity of Machine Learning Models in Healthcare

Ming Yuan, Vikas Kumar+2 more|arXiv (Cornell University)|Feb 7, 2021

Ethics and Social Impacts of AI参考文献 4被引用数 7

ひとこと要約

本稿では、人種、性別、年齢などの保護的属性にわたる分類パラメータの均等性に注目し、医療分類における機械学習モデルの公平性を評価・向上するフレームワークを提案する。グループごとのパフォーマンスばらつきを測定し、クラス不均衡を解消するためのサンプリングを適用し、公平性の閾値を特定することで、高い精度が公平性を保証するわけではないこと、およびプロキシ特徴量の削除が公平性やパフォーマンスを向上させないことが明らかになった。

ABSTRACT

Fairness in AI and machine learning systems has become a fundamental problem in the accountability of AI systems. While the need for accountability of AI models is near ubiquitous, healthcare in particular is a challenging field where accountability of such systems takes upon additional importance, as decisions in healthcare can have life altering consequences. In this paper we present preliminary results on fairness in the context of classification parity in healthcare. We also present some exploratory methods to improve fairness and choosing appropriate classification algorithms in the context of healthcare.

研究の動機と目的

• 人種、性別、年齢などの保護的属性にわたる分類パラメータを用いて、医療分野の機械学習モデルの公平性を評価すること。
• 保護的属性およびプロキシ特徴量を削除した場合のモデルのパフォーマンスと公平性への影響を評価すること。
• 過小代表群の保護的属性におけるクラス不均衡を緩和するためのデータレベルの干渉、例えばオーバーサンプリングの検討。
• 予測パフォーマンスと公平性の両立を図るための公平性の閾値の特定。
• 実世界の医療データセットを用いたロジスティック回帰、ランダムフォレスト、XGBoostの3つのモデルにおける公平性の比較。

提案手法

• 保護的属性グループごとの予測パフォーマンス（AUC）のばらつきを測定し、高いばらつきを不平等の兆候とみなして公平性を評価する。
• 人種や年齢などの保護的属性における過小代表群のカテゴリをバランスさせるためにオーバーサンプリングを適用し、データ不均衡に起因するバイアスを低減する。
• 勾配ブースティングの特徴量重要度スコアを用いて、保護的属性と相関の高い重要なプロキシ特徴量を同定する。
• 保護的属性と相関の高い上位-kの特徴量を削除し、それらが公平性およびパフォーマンスに与える影響を検証する。
• 各グループごとに最適な分類閾値を特定し、パフォーマンスを維持しつつ公平性を向上させる。
• AUCおよびAUCのばらつきを指標として用い、ロジスティック回帰、ランダムフォレスト、XGBoostの3つのモデルにおける公平性とパフォーマンスを比較する。

実験結果

リサーチクエスチョン

• RQ1 保護的属性グループにわたる予測パフォーマンスのばらつきは、医療分野の機械学習モデルにおける不平等をどのように示すか？
• RQ2 保護的属性と相関の高いプロキシ特徴量を削除することで、パフォーマンスの低下を伴わずに公平性がどの程度向上するか？
• RQ3 過小代表群をバランスさせるためのデータサンプリングは、公平性および最適分類閾値にどのような影響を及えるか？
• RQ4 予測パフォーマンスをある程度維持しつつ公平性を向上させるための公平性の閾値を特定できるか？
• RQ5 高いモデル精度は、保護的属性にわたるグループ間で必ずしも公平な結果をもたらすのか？

主な発見

• 保護的属性と相関の高い重要なプロキシ特徴量を削除しても、パフォーマンスのばらつきは減少せず、全体のモデルパフォーマンスも低下した。
• プロキシ特徴量を削除した後もパフォーマンスのばらつきが依然として高かったことから、相関する特徴量を通じた間接的影響は、特徴量の削除だけでは容易に解消できないことが示された。
• オーバーサンプリングにより、人種や年齢などの保護的属性におけるクラス分布がバランスされ、公平性を高めるための最適分類閾値に顕著なシフトが生じた。
• XGBoostは最高のAUCを達成したが、グループ間でのAUCのばらつきも最も高かった。これは、高い精度が公平性を意味するわけではないことを示している。
• ランダムフォレストはAUCおよびばらつきの両方で2番目に高く、ロジスティック回帰は最も一貫性のあるパフォーマンスを示し、ばらつきが最小であった。これは、精度と公平性の間にはトレードオフがある可能性を示唆している。
• 本研究の結論として、モデルの精度から公平性を暗黙的に仮定してはならず、公平性の閾値は再トレーニングを伴わずに公平性を向上させる有効な事後処理手法であると結論づけた。