[論文レビュー] Compressed Regression

Shuheng Zhou, John Lafferty+1 more|arXiv (Cornell University)|Jun 4, 2007

Sparse and Compressive Sensing Techniques参考文献 19被引用数 15

ひとこと要約

本稿では、ランダムな線形射影によりプライバシーを確保しながら、圧縮されたデータを用いて正確なスパース線形回帰を実現する『圧縮回帰』を提案する。理論的保証として、ℓ1正則化回帰が圧縮データ上でスパース・パーサランス（正しい変数選択）とパーサランス（最適な予測性能）を達成することを示し、圧縮データと元のデータの間の相互情報量がゼロに収束することにより、情報理論的プライバシーが保証される。

ABSTRACT

Recent research has studied the role of sparsity in high dimensional regression and signal reconstruction, establishing theoretical limits for recovering sparse models from sparse data. In this paper we study a variant of this problem where the original n input variables are compressed by a random linear transformation to m<1-regularized compressed regression to identify the nonzero coefficients in the true model with probability approaching one, a property called “sparsistence.” In addition, we show that ℓ₁-regularized compressed regression asymptotically predicts as well as an oracle linear model, a property called “persistence.” Finally, we characterize the privacy properties of the compression procedure in information-theoretic terms, establishing upper bounds on the rate of information communicated between the compressed and uncompressed data that decay to zero.

研究の動機と目的

• ストレージおよび計算コストを削減するため、ランダムな線形変換によって圧縮されたデータ上で高次元スパース回帰を可能にすること。
• 圧縮データが、正しい関連予測変数の集合を同定できる能力（スパース・パーサランス）を保持し、最適な予測性能（パーサランス）を達成できることを保証すること。
• 元のデータと圧縮データの間の相互情報量がゼロに収束することを示し、情報理論的プライバシー保証を提供すること。
• 圧縮センシングおよびスパース回帰の理論的基盤を、プライバシーを守るデータ変換フレームワークに拡張すること。
• ℓ1正則化回帰が圧縮データ上で、変数選択および予測の両面で、漸近的に元のデータ上で得られる性能と同等に機能することを示すこと。

提案手法

• ランダムな m × n 行列 8 を用いて、元の n × p のデータ行列 X を圧縮し、eX = 8X を得る（m ≪ n）。
• 圧縮データにℓ1正則化最小二乗法（Lasso）を適用する：eβm = argmin_β (1/(2m))∥eY − eXβ∥²₂ + λm∥β∥₁。
• さらにプライバシーを強化するために、ランダムなアフィン変換（eX = 8X + 1）を用いるが、分析は主に線形圧縮に焦点を当てる。
• スパース・パーサランスおよびパーサランスを保証するための m および λm に関する理論的条件を確立し、ランダム射影下での非一様性および測度の集中に依存する。
• 相互情報量 I(eX; X)/np を用いてプライバシーを分析し、m が増加するにつれてゼロに収束することを示し、圧縮行列 8 が既知であっても成立する。
• 圧縮センシングおよびランダム行列理論の結果を活用し、真のスパースモデルの推定誤差および回復確率の上限を導出する。

実験結果

リサーチクエスチョン

• RQ1 m ≪ n の条件下で、ℓ1正則化回帰が圧縮データ上で真の非ゼロ係数の集合を正しく回復できるか（スパース・パーサランス）？
• RQ2 同じ条件下で、圧縮回帰が元のデータ上で得られる予測性能と同等の性能を達成できるか（パーサランス）？
• RQ3 圧縮プロセスの情報理論的プライバシー保証は何か、特に元のデータと圧縮データの間の相互情報量の観点から。
• RQ4 圧縮サンプル数 m および正則化パラメータ λm が真のスパースモデルの回復に与える影響は？
• RQ5 アフィン変換を線形変換の代わりに用いることでプライバシー保証を強化でき、統計的性能に影響を及ぼすか？

主な発見

• m が C₁s² log(np) ≤ m ≤ s/(C₂n) を満たし、λm → 0 かつ mλ²m log p → ∞ であるとき、スパース・パーサランスが達成され、正しいサポートが確率1に近づいて回復される。
• log₂(np) ≤ m ≤ n かつ ℓ1-ボールの半径 Ln,m = o((m/log(np))¹/⁴) の条件下でパーサランスが成立し、圧縮推定子の予測リスクがオラクルリスクに収束することが保証される。
• m が増加するにつれて、元のデータ X と圧縮データ eX の間の相互情報量がゼロに収束するため、圧縮行列 8 が既知であっても情報理論的プライバシーが保証される。
• 理論的分析により、圧縮グラム行列の逆行列 (1/m)ZᵀS ZS が高確率で ∞-ノルムで 4/(3η) に有界であることが示され、推定誤差の制御が可能になる。
• ノイズに対して頑健であり、ランダム射影下でも統計的一貫性を維持し、圧縮サンプル数が増加するにつれて回復誤差が減少する。
• m ≪ min(n, p) の場合、圧縮行列が既知であっても、元のデータは圧縮データから回復不可能である。これは、非常にアンダーディターミンドなシステムであるためである。