[論文レビュー] Model updating after interventions paradoxically introduces bias

James Liley, Samuel R. Emerson+4 more|arXiv (Cornell University)|Oct 22, 2020

Machine Learning in Healthcare参考文献 1被引用数 7

ひとこと要約

この論文は、予測モデルが意思決定を引き起こし、それが結果を変化させる状況において、介入後の単純なモデル更新が予測モデルにバイアスをもたらす仕組みを因果フレームワークを用いて分析する。繰り返しの更新が自己実現的予測への収束や不安定な振動を引き起こす可能性があり、優れたアルゴリズムが使われてもモデルの信頼性が損なわれる。

ABSTRACT

Machine learning is increasingly being used to generate prediction models for use in a number of real-world settings, from credit risk assessment to clinical decision support. Recent discussions have highlighted potential problems in the updating of a predictive score for a binary outcome when an existing predictive score forms part of the standard workflow, driving interventions. In this setting, the existing score induces an additional causative pathway which leads to miscalibration when the original score is replaced. We propose a general causal framework to describe and address this problem, and demonstrate an equivalent formulation as a partially observed Markov decision process. We use this model to demonstrate the impact of such `naive updating' when performed repeatedly. Namely, we show that successive predictive scores may converge to a point where they predict their own effect, or may eventually tend toward a stable oscillation between two values, and we argue that neither outcome is desirable. Furthermore, we demonstrate that even if model-fitting procedures improve, actual performance may worsen. We complement these findings with a discussion of several potential routes to overcome these issues.

研究の動機と目的

• 予測モデルが過去のモデルによる介入によって汚染されたデータを用いて単純に更新される場合に生じるバイアスを特定・形式化すること。
• モデル駆動の介入がその後のモデル性能やキャリブレーションに与える影響を分析する一般化された因果フレームワークを構築すること。
• 繰り返しのモデル更新が自己予測的均衡への収束、または不安定な振動を引き起こす可能性があることを示すこと。
• 旧モデルを完全に置き換える「ナイーブなモデル交換」と、新しいモデルを段階的に追加する代替戦略「逐次補助（successive adjuvancy）」を対比すること。
• ホールドアウトデータの欠如により、性能の低下が検出されにくく、信頼性や規制監視が損なわれるリスクを強調すること。

提案手法

• 予測子（X）、結果（Y）、および予測スコアに影響を受ける介入メカニズムを含む構造的因果モデルを用いて問題を形式化する。
• 部分的に観測可能なマルコフ意思決定過程としてシステムをモデル化し、逐次的意思決定とフィードバックループを捉える。
• 「ナイーブなモデル交換」を定義：結果が過去の予測や介入によって既に影響を受けており、そのデータに新しいモデルをフィットさせること。
• 代替戦略として「逐次補助（successive adjuvancy）」を導入：旧モデルを置き換えるのではなく、新しい予測スコアを既存のものに加えること。
• 制限された介入条件下で不適切な結果を最小化することを目的とする最適化枠組みを定義する。
• 特に繰り返しの更新下での予測スコアの安定性と収束特性を分析する。

実験結果

リサーチクエスチョン

• RQ1 過去のモデル駆動の介入によって影響を受けるデータを用いて予測モデルを更新すると、どのようなバイアスが生じるか？
• RQ2 介入駆動の環境下で繰り返し更新される予測モデルの長期的ダイナミクス的挙動は何か？
• RQ3 なぜ、より良いモデルが使われても、ナチュラルなモデル交換はキャリブレーションを狂わせるのか？
• RQ4 「逐次補助（successive adjuvancy）」のような代替戦略が、フィードバックループにおけるモデル更新によるバイアスを緩和できるか？
• RQ5 どのような条件下で、モデル更新が自己実現的予測への収束や振動的挙動を引き起こすのか？

主な発見

• ナチュラルなモデル更新は、訓練データに過去の予測による影響が含まれるためバイアスを生じる。その結果、新しいモデルは自らの先駆けモデルの影響を学習してしまう。
• 繰り返しのモデル更新は、モデルが自らの影響を予測する固定点への収束を引き起こす可能性があり、自己実現的予言が生じる。
• 一部の状況では、2つの値の間で安定した振動が生じ、繰り返しの更新にもかかわらず持続的な不安定性が示される。
• モデル適合手順が改善されても、介入駆動のデータ汚染が引き起こすフィードバックループにより、実際の予測性能が悪化する可能性がある。
• ホールドアウトテストセットがなければ、汚染されたデータ上でモデルが良好に見えるため、性能の低下が長期間にわたり検出されない可能性がある。
• 本研究では、モデルの安定性が最適な性能を保証しないこと、そしてフィードバック効果がある状況では安定性自体が錯覚である可能性があることを示している。