[論文レビュー] Bias in Machine Learning -- What is it Good for?

Thomas Hellström, Virginia Dignum+1 more|arXiv (Cornell University)|Apr 1, 2020

Ethics and Social Impacts of AI参考文献 40被引用数 46

ひとこと要約

この論文は、機械学習における偏りのさまざまな意味の分類法を提案し、学習パイプラインに沿った偏りを区別し、それらの相互関係とモデルの偏りおよび社会的公正性への影響を論じる。

ABSTRACT

In public media as well as in scientific publications, the term \emph{bias} is used in conjunction with machine learning in many different contexts, and with many different meanings. This paper proposes a taxonomy of these different meanings, terminology, and definitions by surveying the, primarily scientific, literature on machine learning. In some cases, we suggest extensions and modifications to promote a clear terminology and completeness. The survey is followed by an analysis and discussion on how different types of biases are connected and depend on each other. We conclude that there is a complex relation between bias occurring in the machine learning pipeline that leads to a model, and the eventual bias of the model (which is typically related to social discrimination). The former bias may or may not influence the latter, in a sometimes bad, and sometime good way.

研究の動機と目的

• 機械学習全体の文献で、偏りの異なる用法と定義を明確にする。
• 機械学習パイプライン（世界、データ生成、学習）に沿った偏りの分類法を提示する。
• 異なる偏りの種類が相互作用し、最終的なモデルの偏りにどのように影響するかを、倫理的・因果的観点を含めて議論する。

提案手法

• MLで遭遇する偏りを分類・定義するための公開研究の調査。
• 共有概念の説明的名称を通じて用語を導入・標準化する。
• 偏りのタイプ間のつながりを議論する分類図を提案する。
• 因果的な考慮と、世界そのものとしての世界対世界としてあるべき世界の区別を論じる。

実験結果

リサーチクエスチョン

• RQ1 文献を跨いで機械学習に関連して用いられる偏りの明確な概念は何か？
• RQ2 世界・データ生成・学習段階で生じる偏りは、最終的なモデルの偏りとどのように関連しているか？
• RQ3 MLにおける明確で完全な偏りの分類法を実現するために、どのような用語と拡張が必要か？

主な発見

• MLにおける偏りの概念は学習、データ、世界関連の要因を含む複数あり、しばしば対立する。
• 歴史的/世界的偏り、データ生成の偏り、学習偏りを結ぶ分類法は、偏りがモデル偏りへ伝播する仕組みを説明するのに役立つ。
• モデル偏りは因果的要因に影響され、タスクと規範的目標によって望ましい場合も望ましくない場合もある。
• 多くの偏りの概念は相互関連しており、分類器の性能指標のトレードオフのため同時には避けられない。
• デバイアスは、世界としてあるべき姿を対象とする、あるいはモデルを訓練するために用いられるデータを対象とする、いずれかを狙うことができ、それぞれ異なる含意を持つ。