[論文レビュー] Linear predictor on linearly-generated data with missing values: non consistency and solutions

Marine Le Morvan, Nicolas Prost+3 more|arXiv (Cornell University)|Feb 3, 2020

Bayesian Modeling and Causal Inference参考文献 22被引用数 13

ひとこと要約

本稿は欠損データを伴う線形予測を調査し、観測値と欠損状況インジケータの間の相互作用により最適な予測子が非線形であることを示している。2つの推定器を提案する——1つは欠損状況パターンごとのベイズ予測子に基づくもので、もう1つは定数補完とマスクエンコーディングを用いたもの——そして、ReLU活性化関数を備えた多層パーセプトロン（MLP）が一貫性を示し、特に非無視的欠損（MNAR）条件下で両基準手法を上回ることを示している。

ABSTRACT

We consider building predictors when the data have missing values. We study the seemingly-simple case where the target to predict is a linear function of the fully-observed data and we show that, in the presence of missing values, the optimal predictor may not be linear. In the particular Gaussian case, it can be written as a linear function of multiway interactions between the observed data and the various missing-value indicators. Due to its intrinsic complexity, we study a simple approximation and prove generalization bounds with finite samples, highlighting regimes for which each method performs best. We then show that multilayer perceptrons with ReLU activation functions can be consistent, and can explore good trade-offs between the true model and approximations. Our study highlights the interesting family of models that are beneficial to fit with missing values depending on the amount of data available.

研究の動機と目的

• 欠損値を含むデータにおける線形予測の根本的課題を理解すること、特に非無視的欠損メカニズム下での課題に焦点を当てる。
• 標準的な線形モデルが欠損状況インジケータへの非線形依存性のため、この文脈で失敗する理由を特定すること。
• 欠損データパターンの構造を考慮した実用的な推定器の開発と分析を行うこと。
• 多層パーセプトロン（MLP）が線形および補完ベースの手法の代替として一貫性があり柔軟な代替手段であるかを評価すること。
• 一般化バウンドを確立し、各手法が最も優れた性能を発揮するデータ領域を同定すること。

提案手法

• ガウス分布の仮定の下でベイズ予測子を導出し、観測値と欠損状況インジケータの間の多方向相互作用に依存することから、非線形であることを示している。
• 各ユニークな欠損状況パターン（すなわちマスクパターン）ごとに別個の線形モデルを適合させる最初の推定器を提案し、パターンごとの条件付き期待値を効果的にモデル化している。
• 欠損値を定数で補完し、欠損状況インジケータを特徴ベクトルに連結する第二の推定器を導入し、標準的な線形モデリングを可能にしている。
• 両推定器の有限標本一般化バウンドを確立し、標本サイズや欠損状況パターン数といったデータ領域（例：標本サイズ、次元数）で各手法が優位になる条件を同定している。
• ReLU活性化関数を備えた多層パーセプトロン（MLP）の一致性を分析し、十分に広い幅のネットワークであれば真のベイズ予測子を近似可能であることを証明している。
• MLPが欠損データが引き起こす複雑な相互作用を、適切なしきい値と重みを学習することで効果的にモデル化できることを示している。特にMNARメカニズム下で顕著である。

実験結果

リサーチクエスチョン

• RQ1 真の関係が線形であっても、欠損値を伴う線形生成データの最適予測子がなぜ非線形になるのか？
• RQ2 有限標本下での一般化性能について、パターン別線形モデルと補完ベースのモデルの両推定器はどのように比較されるか？
• RQ3 多層パーセプトロン（MLP）は欠損データが存在する状況でも一貫性を示せるのか？ どのような条件下で可能か？
• RQ4 MLPの必要十分なネットワーク幅は、欠損メカニズムの複雑さやデータ次元数にどのように比例するか？
• RQ5 どのデータ領域（例：標本サイズ、欠損メカニズム）で、それぞれの手法——パターン別回帰、補完ベース回帰、MLP——が予測性能を最も発揮するか？

主な発見

• ガウス分布の仮定下では最適予測子が非線形であり、観測値と欠損状況インジケータの間の多方向相互作用を含むため、標準的な線形モデルは不適切である。
• 各欠損状況パターンごとに別個のモデルを適合させるパターン別線形推定器は、ユニークなパターン数が少なく、データが豊富な場合に優れた性能を発揮する。
• 欠損値を定数で補完し、マスクインジケータを特徴ベクトルに追加する補完ベース推定器は、低次元設定で中程度の標本サイズの下で良好な性能を示す。
• 一般化バウンドの結果から、両推定器の性能は標本サイズと欠損状況パターン数に強く依存しており、明確な領域依存の優位性が示された。
• 隠れユニット数が十分に大きい場合、ReLU活性化関数を備えた多層パーセプトロン（MLP）は真のベイズ予測子の一致推定器として一貫性を示す。
• 実験結果から、MLPは特に非無視的欠損（MNAR）条件下で両基準手法を上回り、混合ガウス分布のような複雑なデータ生成メカニズムでは、幅が$2^d$に比例する必要があることが示された。