[論文レビュー] Predict Responsibly: Improving Fairness and Accuracy by Learning to Defer

David Madras, Toniann Pitassi+1 more|arXiv (Cornell University)|Nov 17, 2017

Ethics and Social Impacts of AI被引用数 57

ひとこと要約

本論文は learning to defer を導入します。自動化モデルが外部の意思決定者に判断を委ねる適応的な二段階フレームワークであり、偏ったり一貫性に欠ける意思決定者が存在する状況で、システム全体の精度と公平性を最適化します。

ABSTRACT

In many machine learning applications, there are multiple decision-makers involved, both automated and human. The interaction between these agents often goes unaddressed in algorithmic development. In this work, we explore a simple version of this interaction with a two-stage framework containing an automated model and an external decision-maker. The model can choose to say "Pass", and pass the decision downstream, as explored in rejection learning. We extend this concept by proposing "learning to defer", which generalizes rejection learning by considering the effect of other agents in the decision-making process. We propose a learning algorithm which accounts for potential biases held by external decision-makers in a system. Experiments demonstrate that learning to defer can make systems not only more accurate but also less biased. Even when working with inconsistent or biased users, we show that deferring models still greatly improve the accuracy and/or fairness of the entire system.

研究の動機と目的

• 自動化モデルが人間または外部の DM に判断を委ねることができる、共同の人間-機械意思決定を動機づけ、形式化する。
• DM の影響および潜在的なバイアスを考慮した適応的なフレームワークへ拒否学習を一般化する。
• DM の特性に依存する委譲判断がある場合に、システム全体の精度と公正性を最適化する学習アルゴリズムを開発する。
• DM が一定の損失を持つ場合に、learning to defer が rejection learning を一般化することを示す理論的な結びつきを提供する。

提案手法

• モデルが予測を出力するか DM へパス判断を渡す二段階カスケードを定式化する。
• モデル予測と DM 予測の間で選択する deferred log-likelihood L_defer を定義・最小化する。
• DM が一定の損失を持つ場合に rejection learning への同等性を示し、learning to defer を一般化として確立する。
• 2 つの学習アプローチを提案する：事後閾値設定（ポストホック閾値化）と、デファー回避確率 π の微分可能なエンドツーエンド学習。
• 感受性グループ間で等化オッズを促進する公平性正則化損失を組み込む。
• 1つの固定 DM エキスパートと学習可能なモデル予測を組み合わせた mixture-of-experts の視点を用いる。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルはどのようにして外部の意思決定者に判断を委ねる戦略をとることで、全体のシステム精度と公平性を向上させることができるか。
• RQ2 learning to defer はどの条件下で標準の rejection learning に縮退するか。
• RQ3 外部の意思決定者がバイアスを持つ、安定していない、または追加情報にアクセスできる場合、委譲をどのようにモデリングし訓練すべきか。
• RQ4 適応的委譲は非適応的拒否よりもサブグループ間で誤りをより公正に分配できるか。

主な発見

• 学習による委譲は、シミュレーションされた DM シナリオを横断して、標準の rejection learning と比較してシステム全体の精度と公平性を向上させる。
• 適応的委譲モデルはサブグループ別に委譲率を調整して DM のバイアスを打ち消し、全体的な性能を向上させる。
• DM の信頼できるサブグループにはより多く委譲し、信頼性の低いサブグループには少なく委譲することで、サブグループ別の精度と公平性が向上する。
• DM が一貫性を欠くまたは biased であってもこのアプローチは有益であり、複数の実験でベースラインを上回る。
• DM が一定の損失を持つ場合、learning to defer と rejection learning の同値性が成り立つ。一般 frameworkとしての妥当性を支持する。
• このフレームワークはポストホック閾値設定またはエンドツーエンド微分可能な訓練で実装できる。