[論文レビュー] Prediction with Missing Data.

Dimitris Bertsimas, Arthur Delarue+1 more|arXiv (Cornell University)|Apr 7, 2021

Gaussian Processes and Bayesian Inference参考文献 25被引用数 10

ひとこと要約

本稿では、欠損データを事前補完せずに直接部分観測データをモデル化する、適応的線形回帰という手法を提案する。この手法により、外挿予測が高精度で可能となる。理論的に、特定の適応的モデルが、補完と回帰の同時学習と等価であることを示し、実世界のデータセットにおいて、逐次的補完→回帰アプローチを上回る性能を発揮することを示している。

ABSTRACT

Missing information is inevitable in real-world data sets. While imputation is well-suited and theoretically sound for statistical inference, its relevance and practical implementation for out-of-sample prediction remains unsettled. We provide a theoretical analysis of widely used data imputation methods and highlight their key deficiencies in making accurate predictions. Alternatively, we propose adaptive linear regression, a new class of models that can be directly trained and evaluated on partially observed data, adapting to the set of available features. In particular, we show that certain adaptive regression models are equivalent to impute-then-regress methods where the imputation and the regression models are learned simultaneously instead of sequentially. We validate our theoretical findings and adaptive regression approach with numerical results with real-world data sets.

研究の動機と目的

• 欠損値を含む実世界のデータセットにおいて、補完を用いた外挿予測の未解決課題に対処すること。
• 予測モデリングの文脈における従来の補完手法の理論的・実用的欠陥を特定すること。
• 明示的な補完を必要とせず、部分観測データから学習する新しいモデリングフレームワークの開発。
• 理論的・実用的に、適応的回帰と補完・回帰の同時学習との等価性を示すこと。
• 提案手法を実世界データで検証し、標準的な補完ベースのアプローチよりも優れた予測性能を示すこと。

提案手法

• 各サンプルの利用可能な特徴量のセットに応じて動的に調整する、適応的線形回帰のクラスを提案する。
• 欠損データから直接回帰係数を学習するモデルを設計し、別個の補完ステップを回避する。
• 特定の適応的回帰モデルが、補完と回帰を逐次的に学習する方法と理論的に等価であることを確立する。
• 入力特徴量の欠損パターンに条件づけられたモデルパラメータの学習フレームワークを採用する。
• 実世界のデータセットを用いた実証的検証により、標準的な補完技術と比較して予測性能を評価する。
• 欠損パターンの変化に応じた数値実験を実施し、提案手法のロバスト性と精度を示す。

実験結果

リサーチクエスチョン

• RQ1 標準的な補完手法は外挿予測においてどのように機能するか。その主な理論的制限は何であるか。
• RQ2 明示的な補完を経ずに、部分観測データから回帰モデルを直接学習できるか。
• RQ3 補完・回帰の同時学習と適応的回帰モデルとの間には、理論的にどのような関係があるか。
• RQ4 提案された適応的回帰アプローチは、実際の応用において逐次的補完→回帰手法を上回るか。
• RQ5 適応的回帰の性能は、欠損データを含むさまざまな実世界データセットでどのように変化するか。

主な発見

• 適応的線形回帰により、補完を必要とせず、部分観測データに対して直接高精度な外挿予測が可能となる。
• 理論的分析により、特定の適応的回帰モデルが、数学的に補完と回帰の同時学習と等価であることが明らかになった。
• 提案手法は、逐次的補完と予測のパイプラインに内在する誤差伝搬を回避する。
• 実世界のデータセットにおける数値結果から、適応的回帰が標準的な補完ベースのアプローチを上回る優れた予測性能を達成することが確認された。
• 本手法は多様な欠損パターンにわたりロバストであり、著しい欠損データが存在する状況でも高い精度を維持する。
• 実証的検証により、適応的モデルによる補完と回帰の同時学習が、逐次処理よりも信頼性の高い予測をもたらすことが示された。