[論文レビュー] Sparse Linear Regression With Missing Data

Ravi Ganti, Rebecca Willett|arXiv (Cornell University)|Mar 28, 2015

Sparse and Compressive Sensing Techniques参考文献 24被引用数 5

ひとこと要約

本稿では、欠損データを伴うスパース線形回帰のための新しい確率的最適化手法であるSLRMを提案する。SLRMは、低ランクのデータ構造とスパース回帰係数を同時に学習する。行列補完とスパース回帰を統合したフレームワークにより、2段階的手法よりも優れた性能を達成し、一般化誤差に関する理論的保証と、合成データおよび実データセットにおける強力な実験的結果を示す。

ABSTRACT

This paper proposes a fast and accurate method for sparse regression in the presence of missing data. The underlying statistical model encapsulates the low-dimensional structure of the incomplete data matrix and the sparsity of the regression coefficients, and the proposed algorithm jointly learns the low-dimensional structure of the data and a linear regressor with sparse coefficients. The proposed stochastic optimization method, Sparse Linear Regression with Missing Data (SLRM), performs an alternating minimization procedure and scales well with the problem size. Large deviation inequalities shed light on the impact of the various problem-dependent parameters on the expected squared loss of the learned regressor. Extensive simulations on both synthetic and real datasets show that SLRM performs better than competing algorithms in a variety of contexts.

研究の動機と目的

• センサーネットワーク、アンケート、レコメンデーションシステムなど、現実世界のデータにおいて特徴ベクトルに欠損値が含まれる状況におけるスパース線形回帰の課題に対処すること。
• まず行列補完で欠損値を補完し、その後にスパース回帰を適用する2段階的手法の非最適性を克服すること。
• 不完全なデータにおける低ランク構造と回帰係数におけるスパarsityを両方捉える統合的統計モデルの構築。
• 問題のスケールに応じて効率的にスケーリングされ、ラベル情報も効果的に活用できる最適化アルゴリズムの設計。
• 一般化誤差に関する大偏差限界を、欠損度、次元、アルゴリズムパラメータの観点から確立すること。

提案手法

• データ行列 $X$ を低ランク行列 $U_*A_*$ に加えてノイズを含むものとしてモデル化し、ラベル $Y$ を低次元コード $A_*^\top w_*$ のスパース線形結合によって生成する統合的統計モデルを提案する。
• SLRMアルゴリズムを導入し、1次および2次最適化ステップを組み合わせた確率的最適化手法として、部分空間行列 $U$、係数行列 $A$、スパース回帰ベクトル $w$ を交互に更新する。
• 2段階手法に内在する誤差伝搬を回避するため、低ランク構造とスパース回帰係数を同時に最適化する逐次最小化手順を採用する。
• 期待二乗損失に関する大偏差不等式を導出し、一般化誤差が環境次元 $D$、観測済みエントリ数 $m$、正則化パラメータ $\gamma$ に依存することを示す。
• 集中不等式とラデマッハ複雑度のバウンドを用いて、一般化誤差バウンド $\mathcal{R}_n(\mathcal{F}_g) \leq \frac{45DR_1\|X\|_\infty}{(1-\gamma)\sqrt{n}}$ を導出し、仮説クラス全体に一様に成立することを示す。
• 期待リスクのバウンドを最小化することで導かれるデータ依存の正則化パラメータ $\alpha^*$ を用いた正則化スキームを適用し、最終的な誤差バウンドが $\mathcal{O}(1/\sqrt{n})$ のスケーリングに従うことを得る。

実験結果

リサーチクエスチョン

• RQ1 まず欠損値を補完し、その後に回帰を実行する2段階的手法よりも、低ランク構造とスパース回帰係数を同時に学習する統合フレームワークが優れた性能を発揮するか？
• RQ2 欠損データの量がスパース回帰モデルの一般化誤差にどのように影響するか？
• RQ3 環境次元 $D$、観測エントリ数 $m$、正則化パラメータ $\gamma$ といった主要パラメータが期待二乗損失に与える理論的影響は何か？
• RQ4 欠損特徴が存在する状況において、提案されたSLRMアルゴリズムは既存手法よりも優れたノイズ耐性とテスト性能を達成するか？
• RQ5 低ランク構造とスパース係数の共同最適化は、欠損値を含む実世界データセットにおけるラベル予測精度の向上に寄与するか？

主な発見

• SLRMは、特に高欠損度と低信号対雑音比の状況において、まず行列補完でデータ行列を補完し、その後にLASSOを適用する2段階的手法を顕著に上回る。
• 理論的分析により、SLRMの一般化誤差が $\mathcal{O}(1/\sqrt{n})$ で有界であることが示され、環境次元 $D$、観測エントリ数 $m$、正則化パラメータ $\gamma$ に明示的な依存関係があることが判明した。
• Leukemia、CTスライス、ATP1d/ATP7d などの合成および実データセットを用いた広範な実験により、SLRMは競合アルゴリズムよりも欠損特徴を有するテストセットで低い平均二乗誤差を達成した。
• ラベル情報が共同学習プロセスで効果的に活用されているため、ノイズ耐性が高く、特徴の大部分が欠損している場合でも、低いテスト誤差を維持する。
• 導出された大偏差バウンドにより、期待二乗損失がサンプルサイズ $n$ と観測エントリ数 $m$ の増加に伴い減少することが確認され、パラメータ $\gamma$ によって制御されることも示された。
• リスクバウンドを最小化することで解析的に最適正則化パラメータ $\alpha^*$ を導出し、頑健でデータ適応的な学習スキームを実現した。