[論文レビュー] An Investigation of Methods for Handling Missing Data with Penalized Regression

Yunjin Choi, Robert Tibshirani|arXiv (Cornell University)|Oct 8, 2013

Statistical Methods and Inference参考文献 9被引用数 4

ひとこと要約

本稿では、欠損データを伴う罰則付き回帰に非負定共分散アプローチを提案し、目的関数の不偏推定量を用い、凸性を保つℓ₂正則化を適用する。さらに、バランスパラメータを用いてこのアプローチと平均挿入法を組み合わせたハイブリッド手法を導入し、特に信号変数の欠損率が高い状況や相関構造のある設計において、平均挿入法よりも平均二乗誤差（MSE）性能が向上することを示した。

ABSTRACT

We investigate methods for penalized regression in the presence of missing observations. This paper introduces a method for estimating the parameters which compensates for the missing observations. We first, derive an unbiased estimator of the objective function with respect to the missing data and then, modify the criterion to ensure convexity. Finally, we extend our approach to a family of models that embraces the mean imputation method. These approaches are compared to the mean imputation method, one of the simplest methods for dealing with missing observations problem, via simulations. We also investigate the problem of making predictions when there are missing values in the test set.

研究の動機と目的

• 予測変数に欠損値を含む場合に罰則付き回帰を適用する課題に対処すること。
• 欠損データを統計的に整合的に扱いながら、目的関数の凸性を維持する手法を開発すること。
• 推定精度の向上を図るため、平均挿入法を改善するために共分散構造を挿入に組み込むこと。
• 不完全なテストセットを用いた交差検証と予測に関する実用的指針を提供すること。
• さまざまな欠損データパターン下での、提案手法と平均挿入法および真の共分散に基づくアプローチとの性能を評価すること。

提案手法

• 欠損がランダム（MAR）であると仮定した下で、罰則付き回帰目的関数の不偏推定量を導出する。
• 不偏推定量にℓ₂正則化を追加して凸性を保証し、効率的な最適化を可能にする。
• 非負定共分散アプローチと平均挿入法をバランスパラメータηで組み合わせたハイブリッド手法を導入する。
• 訓練およびテストセットの欠損値挿入に、推定共分散行列 $ C_{ZZ}^{\hat{\eta}} + (|\Lambda_{\text{min}}| + \hat{\lambda}(1 - \hat{\alpha}))I $ を用いる。
• サイクル座標降下法を最適化に用い、S(·, γ)演算子によるソフトサブトラクションを活用する。
• 不完全なテストセットを用いた交差検証を実施し、予測には推定共分散を用いた条件付き期待値を用いる。

実験結果

リサーチクエスチョン

• RQ1 さまざまな欠損データパターン下で、提案された非負定共分散手法は平均挿入法と比べて平均二乗誤差（MSE）でどの程度優れているか？
• RQ2 バランスパラメータηを用いて非負定共分散アプローチと平均挿入法を組み合わせることで、単独の手法よりも優れた性能が得られるか？
• RQ3 データが不完全な状況下で、交差検証を用いて正則化パラメータ（α, λ, η）の最適選択がどの程度有効にできるか？
• RQ4 テストセットの欠損値挿入に、推定共分散行列と真の共分散行列、および単位行列（I）を用いた場合、それぞれの影響は何か？
• RQ5 テスト観測値に欠損値が含まれる場合、交差検証と予測はどのように実施すべきか？

主な発見

• 非負定共分散アプローチは、特に信号変数に高い欠損率が見られる状況（例：Σ₃における高信号欠損率下でMSE比1.43 vs. 1.21）において、常に平均挿入法をMSEで上回る。
• バランスパラメータηを用いたハイブリッド手法は、一様な欠損率が見られる状況で、平均挿入法および非負定アプローチの両方を上回るMSE性能を示し、Σ₃下でグローバルな最小MSE比1.18（真の共分散の1.33に対し）を達成した。
• 推定共分散行列 $ \Sigma_{\text{est}} $ を用いることで、列の平均値による挿入（Σ = I）よりも顕著に低いテスト誤差が得られ、特に相関構造のある設計では、Σ₃下でテスト誤差比1.18 vs. 1.33を示した。
• テストセットの挿入に $ \Sigma_{\text{est}} $ を用いた交差検証は、最適パラメータ（α, λ, η）の選択をより正確に可能にした。9つのシナリオにわたる一貫性ある性能が裏付けた。
• バランスパラメータηは有効であり、最適値はしばしば(0,1)の範囲に位置しており、両手法の重み付き組み合わせが純粋な平均挿入法や純粋な共分散に基づく挿入法を上回ることを示している。
• ℓ₂正則化による凸性と閉形式更新の恩恵を受けるため、多数の欠損値が存在する場合でも計算効率が維持される。