[論文レビュー] Active Learning for Decision-Making from Imbalanced Observational Data

Iiris Sundin, Peter Schulam+4 more|arXiv (Cornell University)|Apr 10, 2019

Advanced Causal Inference Techniques参考文献 28被引用数 8

ひとこと要約

本稿では、不均衡な観察データからのパーソナライズド意思決定における信頼性を向上させるために、意思決定に配慮したアクティブラーニングを提案する。この手法は、個々の治療効果の符号を誤って推定する確率（Type S誤り率）を最小化することで、その目的を達成する。ベイジアン推定によるType S誤り率と、反事後的想起によるアクティブクエリを用いることで、特にデータが限られている場合や医療応用において、標準的なアクティブラーニングを上回る意思決定誤差の低減を達成する。

ABSTRACT

Machine learning can help personalized decision support by learning models to predict individual treatment effects (ITE). This work studies the reliability of prediction-based decision-making in a task of deciding which action $a$ to take for a target unit after observing its covariates $ ilde{x}$ and predicted outcomes $\hat{p}( ilde{y} \mid ilde{x}, a)$. An example case is personalized medicine and the decision of which treatment to give to a patient. A common problem when learning these models from observational data is imbalance, that is, difference in treated/control covariate distributions, which is known to increase the upper bound of the expected ITE estimation error. We propose to assess the decision-making reliability by estimating the ITE model's Type S error rate, which is the probability of the model inferring the sign of the treatment effect wrong. Furthermore, we use the estimated reliability as a criterion for active learning, in order to collect new (possibly expensive) observations, instead of making a forced choice based on unreliable predictions. We demonstrate the effectiveness of this decision-making aware active learning in two decision-making tasks: in simulated data with binary outcomes and in a medical dataset with synthetic and continuous treatment outcomes.

研究の動機と目的

• 治療群と対照群の間で予測変数の分布が異なる不均衡な観察データにおいて、個々の治療効果（ITE）推定が信頼性に欠けるという課題に対処すること。
• 治療効果の符号を誤って推定する確率を測定するType S誤り率を用いて、意思決定の信頼性を定量化すること。
• 推定されたType S誤り率を最小化することを目的とした、データ収集を優先順位づけるアクティブラーニングの基準を開発すること。
• 直接的なデータ収集が困難または倫理的に問題となる状況において、代替行動下での結果がどうであったかに関する専門家やシミュレートされたインサイトを収集する、反事後的想起による間接的データ収集を可能にすること。
• 合成データおよび実際の医療データ上での実験を通じて、意思決定に配慮したアクティブラーニングが、標準的手法に比べて意思決定誤差をより効果的に低減することを示すこと。

提案手法

• 意思決定の信頼性の指標として、個々の治療効果の符号を誤って予測する確率（Type S誤り率）を推定するベイジアンフレームワークを提案する。
• 不確実性や期待情報量の増加に依存するのではなく、推定されたType S誤り率を最小化することを目的とした、意思決定に配慮した獲得関数を導入する。
• 反事後的想起クエリを2種類設計する：(1)ノイズのあるオラクルから得られる反事後的結果のスカラー点推定値、(2)事実と反事後的結果の間の対比較。
• スタッド（Stan）を用いた確率的推論によるガウス過程モデルを用い、直接的フィードバックと比較的フィードバックを統合的に学習することで、不均衡な状況下でも頑健なITE推定を実現する。
• 計算コストを抑えるために、逐次モデル更新とk近傍法近似を適用し、性能を維持しつつ効率を向上させる。
• ブートストラップに基づく信頼区間を用いて、意思決定精度の向上の統計的有意性を評価する。

実験結果

リサーチクエスチョン

• RQ1 観察研究におけるデータの不均衡は、意思決定における個々の治療効果推定の信頼性にどのように影響するか？
• RQ2 Type S誤り率は、誤った治療意思決定のリスクを評価するための信頼性があり、定量的な指標として適しているか？
• RQ3 推定されたType S誤り率に基づくアクティブラーニングは、標準的手法に比べて意思決定誤差をより効果的に低減するか？
• RQ4 直接的なデータ収集が高コストまたは倫理的に問題となる状況において、専門家の判断やシミュレートされた結果を用いた反事後的想起による間接的データ収集は、意思決定のパフォーマンスを向上させるか？
• RQ5 限られたデータ下で、点推定値と対比較の2種類のクエリタイプは、意思決定の正確性向上においてどのように比較されるか？

主な発見

• シミュレーションにおいて、提案されたベイジアン推定によるType S誤り率は、観察されたType S誤り率と強く相関しており、信頼性の指標としての有効性が検証された。
• 意思決定に配慮したアクティブラーニングは、不確実性サンプリングや期待情報量（EIG）に比べ、意思決定の正確性を著しく早く向上させ、わずか1回のクエリでも統計的に有意な向上を達成した。
• 二値の結果を持つシミュレートデータにおいて、D-M awareおよびTargeted-IG獲得関数はEIGおよび不確実性サンプリングを上回り、早期に高い割合の正しい意思決定を達成した。
• 対比較フィードバック（事実と反事後的結果の比較）は、直接的な結果観測よりも、治療効果の方向に関するより情報量の多い信号を提供するため、意思決定パフォーマンスの向上により効果的であった。
• 連続的治療結果を持つ実際の医療データセットでも、本手法の有効性が確認され、反事後的想起が実臨床意思決定支援環境におけるモデルの信頼性を向上させられることを示した。
• 計算を軽減するためのk近傍法近似は、kが小さすぎる場合には性能の低下を引き起こすことが判明し、効率性と正確性のトレードオフがあることが示された。