[論文レビュー] Confound-leakage: Confound Removal in Machine Learning Leads to Leakage

Sami Hamdan, Bradley C. Love+5 more|arXiv (Cornell University)|Oct 17, 2022

Mental Health Research Topics被引用数 4

ひとこと要約

この論文は、機械学習パイプラインにおける線形回帰による標準的な交絡要因除去（交差回帰、CR）が、非線形モデルに続くと意図しないデータ漏洩を引き起こす可能性があることを示している。漏洩により、残差に隠された交絡要因の情報が露呈され、臨床的および観察的研究におけるモデル妥当性を損なう、偽のほぼ完璧な予測性能が生じる。

ABSTRACT

Machine learning (ML) approaches to data analysis are now widely adopted in many fields including epidemiology and medicine. To apply these approaches, confounds must first be removed as is commonly done by featurewise removal of their variance by linear regression before applying ML. Here, we show this common approach to confound removal biases ML models, leading to misleading results. Specifically, this common deconfounding approach can leak information such that what are null or moderate effects become amplified to near-perfect prediction when nonlinear ML approaches are subsequently applied. We identify and evaluate possible mechanisms for such confound-leakage and provide practical guidance to mitigate its negative impact. We demonstrate the real-world importance of confound-leakage by analyzing a clinical dataset where accuracy is overestimated for predicting attention deficit hyperactivity disorder (ADHD) with depression as a confound. Our results have wide-reaching implications for implementation and deployment of ML workflows and beg caution against naïve use of standard confound removal approaches.

研究の動機と目的

• 標準的な交差回帰による交絡要因除去が機械学習ワークフローに与える意図しない影響を調査すること。
• 交絡要因除去が非線形モデルにおいてデータ漏洩を引き起こす条件、特に臨床応用においてはどのような状況かを特定すること。
• 交差回帰後のモデル性能向上が真の信号強化を反映しているのか、それとも偽の漏洩によるものかを評価すること。
• 交絡要因漏洩を検出・緩和するための実用的ガイドラインを提供すること。
• 臨床的ADHD発声データセット（抑うつが交絡要因）を用いて、交絡要因漏洩の実世界への影響を実証すること。

提案手法

• 交わる要因（例：年齢、性別、抑うつ）の線形分散を線形モデルを用いて特徴量から除去するため、交差回帰（CR）を適用した。
• CRが訓練用フォールドにのみ適用されるよう、交差検証に整合したワークフローを採用し、テストセットの整合性を保った。
• ベンチマークおよび臨床データセットを用い、線形および非線形の多様な機械学習モデルを、CRありとなしで比較評価した。
• 10×5ネストドクロスバリデーションを用い、分類にはAUC-ROC、回帰にはR²を性能指標として測定した。
• 漏洩の検出のため、CR段階で得られた交わる要因の推定値（$\hat{X}$）が、どれほどターゲットから予測可能かを評価した：$\hat{X}$ からのターゲット予測性が高ければ、漏洩の兆候である。
• 性能差の意味的有意性を判断するため、ベイジアンROPE分析を用いた。

実験結果

リサーチクエスチョン

• RQ1 非線形機械学習モデルに続く線形回帰による交絡要因除去は、データ漏洩を引き起こすか？
• RQ2 交わる要因除去後の性能向上が、情報の露呈によるものか、交わる要因漏洩によるものか、どのような条件下で生じるか？
• RQ3 CR後の残差特徴量から交わる要因推定値（$\hat{X}$）はどれほど予測可能か？これは漏洩をどのように示唆するか？
• RQ4 ADHD予測のような実世界の臨床応用において、交わる要因漏洩は診断精度をどの程度過大評価するか？
• RQ5 特徴量のシャッフルと残差からの交わる要因予測は、MLパイプラインにおける漏洩感受性を検出する実用的診断ツールとして機能できるか？

主な発見

• 線形回帰による交わる要因除去に続く非線形モデルでは、真の効果がゼロまたは弱くても、交わる要因漏洩により偽のほぼ完璧な予測性能が生じる。
• ADHD発声データセットにおいて、抑うつを交わる要因として用いた場合、CRによりADHD予測のAUC-ROCが約0.65から約0.95に上昇し、モデル性能が著しく過大評価されていることが示された。
• CR後の残差特徴量は、交わる要因（例：抑うつスコア）を非常に高く予測可能であり、$\hat{X}$ がターゲットの分散の最大80％を説明するなど、漏洩の強い証拠となった。
• CR後の性能向上は信号強化によるものではなく、残差から交わる要因が高精度に予測可能であることに起因する漏洩によるものであることが示された。
• 本研究では、交わる要因の単変量回帰後に非線形モデルを適用する場合、たとえ交差検証を用いても、交わる要因漏洩が特に顕著に発生することが判明した。
• 著者らは、特徴量のシャッフルと残差からの交わる要因予測が、MLワークフローにおける漏洩感受性を検出する診断ツールとして有効であると提言している。