[論文レビュー] PROMISSING: Pruning Missing Values in Neural Networks

Seyed Mostafa Kia, Nastaran Mohammadian Rad+6 more|arXiv (Cornell University)|Jun 3, 2022

Machine Learning in Healthcare被引用数 4

ひとこと要約

PROMISSINGは、欠損値を誤りではなく不確実性の情報的シグナルとして扱うことで、ニューラルネットワークにおける欠損値の処理に新たな手法を提案する。学習可能な表現を用いてその影響を中和することで、補完手法と同等の性能を達成するとともに、欠損値が増えるにつれてモデルが徐々に迷い始めるようになり、人間の不確実性認識に類似した挙動を示す。

ABSTRACT

While data are the primary fuel for machine learning models, they often suffer from missing values, especially when collected in real-world scenarios. However, many off-the-shelf machine learning models, including artificial neural network models, are unable to handle these missing values directly. Therefore, extra data preprocessing and curation steps, such as data imputation, are inevitable before learning and prediction processes. In this study, we propose a simple and intuitive yet effective method for pruning missing values (PROMISSING) during learning and inference steps in neural networks. In this method, there is no need to remove or impute the missing values; instead, the missing values are treated as a new source of information (representing what we do not know). Our experiments on simulated data, several classification and regression benchmarks, and a multi-modal clinical dataset show that PROMISSING results in similar prediction performance compared to various imputation techniques. In addition, our experiments show models trained using PROMISSING techniques are becoming less decisive in their predictions when facing incomplete samples with many unknowns. This finding hopefully advances machine learning models from being pure predicting machines to more realistic thinkers that can also say "I do not know" when facing incomplete sources of information.

研究の動機と目的

• 実世界の機械学習、特にデータ収集が高コストで不完全な臨床的・マルチモodalな設定において、欠損データの課題に対処すること。
• 欠損データのメカニズムを仮定する伝統的な補完手法の限界を克服し、バイアスを導入するおそれや、膨大な前処理を要する問題を回避すること。
• 補完や削除を伴わず、ニューラルネットワークが欠損値を自然に処理できる手法を開発し、モデルのロバストネスと解釈可能性を維持すること。
• 不完全な入力を提示された際に、モデルが不確実性を表現できるようにし、不確実な環境下での人間らしい推論に近づけること。
• 欠損値を用いて特徴量の重要性を個別患者レベルで照会するための反事実的解釈を可能にする。

提案手法

• 前向き伝搬中に欠損値の影響を中和するために、学習可能な表現を導入し、欠損値を別個の入力タイプとして扱う。
• ニューラルネットワークの前向き伝搬を変更し、NaN（欠損）を別個の入力タイプとして扱い、情報欠如を表す学習可能な埋め込み表現を用いる。
• 欠損特徴量がニューロンの活性化に与える寄与を抑制するプルーニング機構を適用し、その影響を「プルーニング」する。
• 標準的なバックプロパゲーションを用いてエンドツーエンドでモデルを学習させ、ネットワークがいつでもどのように不確実な入力を軽減すべきかを学習できるようにする。
• マルチモーダルデータに拡張するため、各モダリティごとに同じメカニズムを独立して適用し、連続値、バイナリ、カテゴリカルなデータタイプの混合に対しても柔軟に対応できる。
• 特徴量を意図的に欠損値としてマスキングすることで反事実的解釈を可能にし、個別患者レベルでの局所的説明可能性を提供する。

実験結果

リサーチクエスチョン

• RQ1 補完や削除を伴わず、直接的に欠損値を処理できるように訓練されたニューラルネットワークは、予測性能を維持しながら実現可能か？
• RQ2 PROMISSINGと補完ベースの手法を比較した場合、欠損値の数が増えるにつれて、モデルの予測に対する信頼度はどのように変化するか？
• RQ3 PROMISSINGは、人工的な欠損値を用いた反事実的分析を可能にすることで、より解釈可能で臨床的に意味のあるモデル意思決定を可能にするか？
• RQ4 情報が不完全な場合に予測の不確実性を反映することで、PROMISSINGはモデルのキャリブレーションを改善するか？
• RQ5 PROMISSINGは、高次元でマルチモーダルかつ不完全な特徴を持つ実世界の臨床データセットにおいて、多様なデータタイプで良好な性能を発揮するか？

主な発見

• PROMISSINGは、MICE やディープジェネレーティブモデルを含む複数の補完手法と同等の予測性能を、分類および回帰のベンチマークで達成する。
• PROMISSINGで訓練されたモデルは、欠損値の数が増えるにつれて、徐々に迷い始める。予測は0.5（ランダムチョイス）に単調に収束し、キャリブレートされた不確実性を反映している。
• mPROMISSING（欠損度に学習可能な埋め込みを導入）は、標準的なPROMISSINGで観察されたわずかなランダム性能からの逸脱を是正し、信頼性を向上させる。
• PROMISSINGは効果的な反事実的解釈を可能にする。特徴量を意図的に欠損値としてマスキングすることで、モデル意思決定に最も影響を与えるモダリティ（例：PANSS、MINI）を特定できる。
• 臨床応用において、PROMISSINGは個別患者レベルでの「なぜ」の質問に答えられる説明可能AIを支援し、精密精神病学分野での信頼性と実用性を高める。
• 本手法は連続値、バイナリ、カテゴリカルなデータタイプすべてに柔軟に適応可能で、前処理を一切不要としており、追加の工学的処理を要せず、複雑なマルチモーダルデータセットにも適している。