[論文レビュー] Using permutations to assess confounding in machine learning applications for digital health

Elias Chaibub Neto, Abhishek Pratap+5 more|arXiv (Cornell University)|Nov 29, 2018

Advanced Causal Inference Techniques参考文献 15被引用数 5

ひとこと要約

本論文では、デジタルヘルス分野における機械学習のための、順列に基づく統計的手法を導入し、制限付き順列を用いて交絡要因の影響を分離しつつ、ターゲット集団の構造を保持することで、交絡の検出と定量的評価を可能にする。この手法により、交絡なしのモデル性能の推定と、交絡補正手法の評価が可能となり、実際のパーキンソン病のモバイルヘルス研究において、標準的な帰無仮説よりも高い推論精度が得られた。

ABSTRACT

Clinical machine learning applications are often plagued with confounders that can impact the generalizability and predictive performance of the learners. Confounding is especially problematic in remote digital health studies where the participants self-select to enter the study, thereby making it challenging to balance the demographic characteristics of participants. One effective approach to combat confounding is to match samples with respect to the confounding variables in order to balance the data. This procedure, however, leads to smaller datasets and hence impact the inferences drawn from the learners. Alternatively, confounding adjustment methods that make more efficient use of the data (e.g., inverse probability weighting) usually rely on modeling assumptions, and it is unclear how robust these methods are to violations of these assumptions. Here, rather than proposing a new approach to control for confounding, we develop novel permutation based statistical methods to detect and quantify the influence of observed confounders, and estimate the unconfounded performance of the learner. Our tools can be used to evaluate the effectiveness of existing confounding adjustment methods. We illustrate their application using real-life data from a Parkinson's disease mobile health study collected in an uncontrolled environment.

研究の動機と目的

• デジタルヘルス分野の機械学習応用における観察された交絡要因の影響を検出・定量する統計的手法の開発。
• ターゲット集団における交絡要因と反応の関連を考慮することで、学習者による交絡なしの予測性能を推定すること。
• ターゲット集団の構造を反映する、データ駆動型の順列フレームワークを用いて、既存の交絡補正手法の有効性を評価すること。
• 自己選択によって人口統計的偏りが生じる、遠隔的かつ制御のきかないデジタルヘルス研究における一般化性の欠如という課題に対処すること。
• 従来の補正手法（例：逆確率重み付け）に内在するモデル仮定を回避する手法の提供。

提案手法

• カテゴリカルまたは順序尺度の交絡要因のレベル内での応答変数のシャッフルを用い、交絡による間接的関連は保持しつつ、直接的な特徴量-応答関連を遮断する制限付きモンテカルロ順列を用いる。
• 訓練集合およびテスト集合において交絡要因のレベル内での応答の繰り返しシャッフルを行い、モデル性能を再評価することで、制限付き順列帰無分布を構築する。
• 観測された指標を制限付き順列帰無分布に対して標準化することで、交絡なしの性能を推定する。zスコア補正を用いる：$ (AUC_o - a_{\tilde{\tau}^*}) \frac{s}{s_{\tilde{\tau}^*}} + a $。
• 交絡の有無を検定するために、標準正規分布近似を用いたp値を計算する：$ 1 - \Phi\left(\frac{a_{\tilde{\tau}^*} - a}{s / \sqrt{n}}\right) $、ここで$ a $および$ s $はベースライン帰無分布の平均および標準偏差である。
• ターゲット集団から得られるベースライン帰無分布（この帰無分布は、交絡構造のベースラインを反映）を基準として用いることで、ベースラインの交絡構造を補正し、より正確な性能推定を可能にする。
• 本手法をパーキンソン病研究の実際のモバイルヘルスデータに適用し、交絡の検出と補正戦略の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 性別や年齢といった交絡要因が、デジタルヘルス研究における機械学習モデルの予測性能にどの程度歪みをもたらすか？
• RQ2 開発データに交絡による誤った関連が存在する場合、真の（交絡なしの）モデル性能をどのように推定できるか？
• RQ3 ターゲット集団の構造を反映する順列ベースのベンチマークを用いて評価した場合、標準的な交絡補正手法の有効性はどの程度か？
• RQ4 交絡信号強度が変化する条件下で、提案手法の交絡検出検定の統計的パワーはどの程度か？
• RQ5 帰無仮説（交絡なし）のもとで、型Iエラー率はどの程度適切に制御されているか？

主な発見

• 提案手法は、ターゲット集団の交絡要因-応答構造を反映する制限付き順列帰無分布と観測されたモデル性能を比較することで、交絡の検出と定量的評価に成功した。
• 交絡なしのAUC推定値は、標準的な順列帰無分布に基づく推定よりも顕著に正確であった。図S6eにおける緑線（ベースライン帰無分布）が、オレンジ線（標準帰無分布）を上回った。
• 交絡信号強度が強くなるにつれて、交絡検出の実効的パワーが上昇し、現実的なシミュレーション状況下での感受性を示した。
• 帰無仮説（交絡なし）のもとで、p値は[0,1]上で一様分布していた。これは、シミュレーションにおいて型Iエラー率が適切に制御されていることを確認した。
• 本手法は、ターゲット集団における真の交絡要因-応答関連を反映するベンチマークを提供することで、交絡補正手法の効果を効果的に評価できた。
• 実際のパーキンソン病研究において、性別が顕著な交絡要因であることが同定され、交絡なしの性能推定値は開発データに存在する誤った関連を是正した。