[論文レビュー] Leveraging Expert Consistency to Improve Algorithmic Decision Support

Maria De‐Arteaga, Vincent Jeanselme+2 more|arXiv (Cornell University)|Jan 24, 2021

Adversarial Robustness in Machine Learning被引用数 25

ひとこと要約

tldr: 本論文は、過去の専門家の意思決定と推定された専門家の一貫性から学ぶ方法を提案し、意思決定目的とアルゴリズム目的のギャップを埋める。各ケースに単一の専門家がいる場合に一貫性を推定するために影響関数を用いる。その後、この一貫性を学習時および予測時の機構に統合し、高リスクの意思決定支援を改善する。

ABSTRACT

Machine learning (ML) is increasingly being used to support high-stakes decisions. However, there is frequently a construct gap: a gap between the construct of interest to the decision-making task and what is captured in proxies used as labels to train ML models. As a result, ML models may fail to capture important dimensions of decision criteria, hampering their utility for decision support. Thus, an essential step in the design of ML systems for decision support is selecting a target label among available proxies. In this work, we explore the use of historical expert decisions as a rich -- yet also imperfect -- source of information that can be combined with observed outcomes to narrow the construct gap. We argue that managers and system designers may be interested in learning from experts in instances where they exhibit consistency with each other, while learning from observed outcomes otherwise. We develop a methodology to enable this goal using information that is commonly available in organizational information systems. This involves two core steps. First, we propose an influence function-based methodology to estimate expert consistency indirectly when each case in the data is assessed by a single expert. Second, we introduce a label amalgamation approach that allows ML models to simultaneously learn from expert decisions and observed outcomes. Our empirical evaluation, using simulations in a clinical setting and real-world data from the child welfare domain, indicates that the proposed approach successfully narrows the construct gap, yielding better predictive performance than learning from either observed outcomes or expert decisions alone.

研究の動機と目的

• 観測結果だけでは十分に捉えられない複雑な意思決定基準とMLの目的を整合させる必要性を動機づける。
• 各ケースに単一の専門家が割り当てられ、専門家の割り当てが非ランダムである場合に専門家の一貫性を推定する枠組みを提案する。
• 専門家の意思決定と観測ラベルを混合するトレーニング時のラベル統合アプローチを開発する。
• 予測時に推定された専門家の一貫性を利用する代替のハイブリッドおよびデファーアルモデルを導入する。
• 高リスクの意思決定支援文脈におけるポジティビティの逸脱と構成妥当性の懸念に対処する。

提案手法

• 過去の専門家の意思決定を予測するモデルを訓練し、各専門家の選択のキャリブレーションされた確率を取得する。
• 影響関数を用いて各専門家の予測への影響を推定し、専門家間のロバスト性/一貫性指標を導出する。
• モデルが高い確率で意思決定を予測する高一貫性の部分集合Aを定義し、Aにおける予測が専門家間の一貫性を反映すると主張する。
• 専門家の一貫性が存在する場合にはそれから、そうでない場合には観測ラベルから学ぶラベル統合を提案する。
• 予測時に推定された一貫性を活用するハイブリッドおよびデファーアル戦略を提示する。）

実験結果

リサーチクエスチョン

• RQ1 各ケースが単一の専門家によって評価され、専門家の割り当てが非ランダムである場合、専門家の一貫性をどのように推定できるか？
• RQ2 推定された専門家の一貫性を機械学習のトレーニングに組み込み、意思決定の目的と観測結果との構成のギャップを埋めるにはどうすればよいか？
• RQ3 専門家の一貫性を活用するモデルは、ターゲットラベルに反映されていない高リスクケースの精度を改善するか？
• RQ4 予測時に推定された一貫性を活用する実行可能な代替デプロイ戦略（ハイブリッド/デファーアル）は何か？

主な発見

• 専門家がリスクを認識しているが、展開モデルのターゲットラベルには十分に反映されていない高リスクケースが存在する。
• 推定された専門家の一貫性を活用する提案手法は、観測結果にリスクが反映されていないケースの精度を著しく向上させる。
• 本手法は非ランダムな専門家割り当てを扱い、その使用を知らせるためにデモグラフィック・パリティの観点による診断を提供する。