[論文レビュー] Missing Values and Imputation in Healthcare Data: Can Interpretable Machine Learning Help?

Zhi Chen, Sarah Tan+3 more|arXiv (Cornell University)|Apr 23, 2023

Machine Learning in Healthcare被引用数 5

ひとこと要約

本稿では、解釈可能な機械学習、特に解釈可能なブースティングマシン（EBM）を用いて、医療データにおける欠損要因の特定と有害な補完の検出を行うことを提案する。形状関数と特徴量の相互作用を分析することで、MissForest や KNN といった高度な補完手法が、P/F 比などの重要な値を体系的に低く見積もっていることが明らかになった。これは、患者のリスクを危険に低く見積もる結果となり、ブラックボックスモデルでは見えないが、解釈可能性によって検出可能な問題である。

ABSTRACT

Missing values are a fundamental problem in data science. Many datasets have missing values that must be properly handled because the way missing values are treated can have large impact on the resulting machine learning model. In medical applications, the consequences may affect healthcare decisions. There are many methods in the literature for dealing with missing values, including state-of-the-art methods which often depend on black-box models for imputation. In this work, we show how recent advances in interpretable machine learning provide a new perspective for understanding and tackling the missing value problem. We propose methods based on high-accuracy glass-box Explainable Boosting Machines (EBMs) that can help users (1) gain new insights on missingness mechanisms and better understand the causes of missingness, and (2) detect -- or even alleviate -- potential risks introduced by imputation algorithms. Experiments on real-world medical datasets illustrate the effectiveness of the proposed methods.

研究の動機と目的

• 医療データにおける欠損値の取り扱いが誤られると臨床的意思決定に深刻な影響を及えるという、極めて重要な課題に対処すること。
• 解釈可能な機械学習が、一般的な補完手法に潜む隠れたバイアスや欠陥を明らかにできるかを調査すること。
• 補完によって系統的な誤差が生じる状況を特定する手法を開発すること、特に医療分野のような高リスクな応用分野において。
• 臨床医やデータサイエンティストが *なぜ* 値が欠損しているのか、および補完がモデルの挙動にどのように影響を与えるのかを理解するためのツールを提供すること。
• EBMに基づく解釈可能性が、標準的なモデルでは検出できない、補完データにおける異常を明らかにできることを示すこと。

提案手法

• 解釈可能なブースティングマシン（EBM）を用い、ガラスボックス型で高精度なモデルとして、欠損のパターンを特定するための特徴量の分布を分析する。
• EBMの形状関数を用いて、補完された値が特徴量の範囲に応じて予測にどのように影響を与えるかを可視化する。
• 観測値と補完値の分布を比較することで、完全に無作為に欠損している（MCAR）かどうかを、EBMに基づく統計的検査を用いてテストする。
• 他の特徴量から欠損の有無を予測するモデルを構築し、EBMの解釈可能性を活用して変数間の関係と欠損との関係を明らかにする。
• EBMの形状関数の異常（例えば、スパイク状または直感に反するパターン）を用いて、有害な補完行動を特定する。
• 実世界の医療データセットを用いて、平均値補完、MissForest、KNN といった複数の補完手法を比較し、EBM診断によるその影響を評価する。

Figure 1 : EBM shape function and density plot for P/F ratio when predicting ICU mortality.

実験結果

リサーチクエスチョン

• RQ1 解釈可能な機械学習は、医療データセットにおける欠損の背後要因を特定するのを支援できるか？
• RQ2 MissForest や KNN といった高度な補完手法は、臨床モデルの性能を損なう系統的なバイアスを導入するのか？
• RQ3 EBMの形状関数は、ブラックボックスモデルでは検出できない有害な補完パターンを検出できるか？
• RQ4 解釈可能性ツールは、モデルの展開前に補完のリスクを臨床医やデータサイエンティストが評価するのをどのように支援できるか？
• RQ5 EBMベースの診断は、P/F 比のような重要な変数において、患者のリスクを低く見積もる補完が行われているかどうかを明らかにできるか？

主な発見

• MissForest および KNN の補完は、予想される値よりも低い P/F 比を体系的に補完しており、とくに P/F 比が既に低い患者のリスクを低く見積もっている可能性がある。
• EBMの形状関数から、高度な補完を用いた際の予測にスパイク状で滑らかでないパターンが明らかになり、不安定で危険なモデル挙動であることが示された。
• 平均値補完は単純であるが、MissForest や KNN ほど広範な患者に影響を与える歪みを引き起こしておらず、P/F 比が 0 から 800 の範囲の患者に影響が及ぶ範囲が広い。
• EBMベースの診断は、欠損した P/F 比が、臨床的に「正常」とみなされる（つまり、1000 に近い値と想定される）ことが原因であると特定した。これは標準的手法では検出できないパターンであった。
• この手法により、補完がモデル予測に局所的なフラクチュエーションを引き起こす可能性があることが特定され、臨床現場では小さな誤差が大きな影響を及えることがあるため、特に危険であることが明らかになった。
• モデル編集ツールが、全体の精度にほとんど影響を与えない範囲で有害な補完効果を是正できることを示し、解釈可能なモデルの実用的価値を裏付けた。

Figure 2 : Example of using EBM shape function to test for MCAR. Missing coded as -5. $p$ -value for testing MCAR is less than 0.05.