[論文レビュー] The Authority of "Fair" in Machine Learning

Michael Skirpan, Micha Gorelick|arXiv (Cornell University)|Jun 29, 2017

Ethics and Social Impacts of AI参考文献 32被引用数 19

ひとこと要約

本論文は、機械学習における公平性について、規範的かつ文脈依存的な定義を提唱し、公平性が技術的に強制されるべきではなく、集団的・文脈的根拠に基づいて正当化されなければならないと主張する。現在の差別の的取り扱いへの焦点を批判し、公平性の定義におけるコミュニティ参加を提唱し、MLシステムにおける正当性と責任の確保のための制度的メカニズムを要請する。

ABSTRACT

In this paper, we argue for the adoption of a normative definition of fairness within the machine learning community. After characterizing this definition, we review the current literature of Fair ML in light of its implications. We end by suggesting ways to incorporate a broader community and generate further debate around how to decide what is fair in ML.

研究の動機と目的

• 機械学習における公平性の支配的技術的枠組みが、単に差別の的取り扱いを避けることに限定されているのを挑戦すること。
• 公平性が本質的または技術的性質ではなく、規範的かつ文脈依存的な構造であると主張し、コミュニティの合意を要することを強調すること。
• 影響を受けるコミュニティからの入力を得ずにエンジニアが公平性を単独でコード化するリスクを浮き彫りにすること。
• 参加的対話と制度的責任の仕組みを通じて、MLにおける公平性の正当化を図るフレームワークを提言すること。
• 脆弱なコミュニティや啓発グループを、MLシステムの公平性基準を定義するプロセスにより広く参加させることを要請すること。

提案手法

• 文脈的正当化を要し、影響を受ける当事者が賛同または反対を表明できる仕組みを備えた、規範的公平性の定義（P1）を導入する。
• 公平性を三つの明確な枠組みに分類する：システムの公平性、アプローチの公平性、結果の公平性。
• これらの三つの枠組みを通して既存の公平性文献を分析し、差別の的影響に限定された焦点が顕在化することを明らかにする。
• 事後解釈性および公平性監査ツールが、事前に定義された特徴量と局所的近似に依存するため、限界があることを評価する。
• 正当で責任ある公平性を実現するための道筋として、アルゴリズム的正当手続とコミュニティ参加を提言する。
• 倫理委員会やカリキュラム統合などの制度的改革を提唱し、公平性をML開発に根付かせる。

実験結果

リサーチクエスチョン

• RQ1 どのようにすれば、文脈的に根拠を持ち、民主的に正当性を持つ公平性の定義が可能になるか？
• RQ2 なぜ現在の差別的取り扱いへの焦点が、倫理的なMLシステムを確保するのに不十分なのか？
• RQ3 影響を受けるコミュニティや啓発グループは、MLアプリケーションにおける公平性を定義する上で、どのような役割を果たすべきか？
• RQ4 MLの実務者が、技術的エリートが単独で公平性制約を強制しないようにするには、どのようにすればよいか？
• RQ5 MLシステムにおける「公平性」の権威を正当化するための制度的メカニズムは何か？

主な発見

• 公平なMLに関する現在の文献は、主に差別的取り扱いを防ぐことに注力しており、公平性のより広範な規範的・文脈的次元を無視している。
• 事後公平性監査ツールは、事前に定義された保護対象カテゴリに依存しているため、既知の共変量外のバイアスを検出できないという限界がある。
• LIMEやLIMEに類似した解釈手法は、局所的かつ近似的な説明しか提供せず、モデル行動のグローバルな理解には寄与しない。
• 公平性を達成することとモデルの正確性を維持することは、根本的に対立する傾向にあり、現在の制約下では理想の公平性が達成可能でない可能性がある。
• MLにおける公平性を定義する権威は、現在、責任を問われず、コミュニティの参加なしに技術的エリートによって強制されるリスクをはらんでいる。
• 公平性の正当性には、反対の表明と合意形成を可能にする制度的メカニズム——例えばアルゴリズム的正当手続やコミュニティ参加——が必要である。