[論文レビュー] Understanding Bias in Machine Learning

Jindong Gu, Daniela Oelke|arXiv (Cornell University)|Sep 2, 2019

Explainable Artificial Intelligence (XAI)参考文献 19被引用数 15

ひとこと要約

この論文は、トレーニングデータのバイアスが機械学習モデルにどのように伝播するかを説明しており、共変量シフト、サンプル選択バイアス、クラス不均衡といったデータバイアスが、モデルの公平性とパフォーマンスに直接的な影響を与えることを、インタラクティブな可視化を通じて示している。高精度なモデルであっても、バイアスを含むデータを使用すると差別的結果を生じることを示しており、展開前にバイアスを検出・軽減するためのデータの点検とドメインエキスパートと機械学習研究者の協働の重要性を強調している。

ABSTRACT

Bias is known to be an impediment to fair decisions in many domains such as human resources, the public sector, health care etc. Recently, hope has been expressed that the use of machine learning methods for taking such decisions would diminish or even resolve the problem. At the same time, machine learning experts warn that machine learning models can be biased as well. In this article, our goal is to explain the issue of bias in machine learning from a technical perspective and to illustrate the impact that biased data can have on a machine learning model. To reach such a goal, we develop interactive plots to visualizing the bias learned from synthetic data.

研究の動機と目的

• データ分布の不一致に起因する機械学習におけるバイアスの技術的起源を説明すること。
• 共変量シフト、サンプル選択バイアス、クラス不均衡といった異なるタイプのデータバイアスがモデル行動に与える影響を図示すること。
• インタラクティブな可視化を通じて、バイアスを含むトレーニングデータがモデルの予測にバイアスをもたらすことを実証すること。
• 事前にデータの点検とドメインエキスパートと機械学習研究者の協働を促進することで、バイアスを検出・軽減することを提唱すること。
• 機械学習が本質的にバイアスを低減すると仮定する考えを疑問視し、データに内在するバイアスがモデルに引き継がれ、拡大する可能性があることを示すこと。

提案手法

• 著者たちは、制御された環境で現実世界のバイアス状況を模擬するため、合成データセットを用いている。
• モデルの予測に与えるバイアスの影響を可視化するために、インタラクティブな可視化を構築しており、ユーザーがデータ分布の比率を調整できるようにしている。
• 人材採用応用における意思決定を模擬するため、バイアスを含むデータでトレーニングされたニューラルネットワークモデルを採用している。
• パイチャートと特徴量の重要度プロットを用いて、異なるデータ分布におけるモデルの予測比率と特徴量の重要度を可視化している。
• 動的スライダを用いてクラス不均衡を操作し、モデル行動の即時の変化を観察できるようにしている。
• 特徴量の寄与度やモデルに依存しない解釈手法（例：LIME、順列重要度）を含む説明可能なAI技術を参照し、モデル分析を支援している。

実験結果

リサーチクエスチョン

• RQ1 トレーニングデータのバイアスは、どのように機械学習モデルに伝播するか？
• RQ2 共変量シフト、サンプル選択バイアス、クラス不均衡といった具体的なタイプのデータバイアスとは何か？ それらはモデルの公平性にどのように影響を与えるか？
• RQ3 機械学習モデルの予測が、そのトレーニングデータに存在するバイアスをどの程度反映するか？
• RQ4 インタラクティブな可視化は、データバイアスがモデル意思決定に与える影響を効果的に明らかにし、説明できるか？
• RQ5 ドメインエキスパートと機械学習研究者が、モデルの展開前にバイアスを検出・軽減するために果たす役割は何か？

主な発見

• 機械学習モデルのバイアスは、主にモデルアーキテクチャではなく、バイアスを含むトレーニングデータに起因する。
• トレーニングデータにおけるクラス不均衡は、モデルが母集団の大多数のクラスを優遇する傾向を示し、テストデータの分布が異なる場合でも、高い拒否率を生じる。
• 歴史的な差別が反映されたトレーニングデータ（例：特定の大学やスキルが過剰に代表されている）では、モデルがその相関関係を学習・再現し、不平等な予測を生じる。
• インタラクティブな可視化により、トレーニングデータの分布を真の母集団分布に近づけることで、モデルの公平性と予測精度が向上することが示された。
• 高精度なモデルであっても、データが注意深く点検されない限りバイアスは持続するため、説明可能なAIとクロスディシプリナリーな協働の重要性が浮き彫りになった。
• 本研究では、機械学習が自動的にバイアスを排除するわけではないことが確認された。むしろ、データの質と代表性が確保されない場合、既存のバイアスがモデルによって拡大される可能性がある。