[論文レビュー] Sparse Estimation with Strongly Correlated Variables using Ordered Weighted L1 Regularization

Mário A. T. Figueiredo, Robert D. Nowak|arXiv (Cornell University)|Sep 14, 2014

Sparse and Compressive Sensing Techniques参考文献 23被引用数 18

ひとこと要約

本稿では、強い相関を持つ変数を伴う高次元回帰におけるスパース推定のため、順序付き重み付き ℓ₁（OWL）正則化を提案する。順序付き重みにより、絶対値が大きい係数の大きさに重点を置いたペナルティを課すことで、OWLは自動的に相関のある変数をクラスタリングし、それらの推定係数を等しくする。同時に、最適な標本複雑度を維持する：sスパース信号の回復には、クラスタサイズにかかわらず、O(s log p) の標本で十分であり、独立設計の性能と一致する。

ABSTRACT

This paper studies ordered weighted L1 (OWL) norm regularization for sparse estimation problems with strongly correlated variables. We prove sufficient conditions for clustering based on the correlation/colinearity of variables using the OWL norm, of which the so-called OSCAR is a particular case. Our results extend previous ones for OSCAR in several ways: for the squared error loss, our conditions hold for the more general OWL norm and under weaker assumptions; we also establish clustering conditions for the absolute error loss, which is, as far as we know, a novel result. Furthermore, we characterize the statistical performance of OWL norm regularization for generative models in which certain clusters of regression variables are strongly (even perfectly) correlated, but variables in different clusters are uncorrelated. We show that if the true p-dimensional signal generating the data involves only s of the clusters, then O(s log p) samples suffice to accurately estimate the signal, regardless of the number of coefficients within the clusters. The estimation of s-sparse signals with completely independent variables requires just as many measurements. In other words, using the OWL we pay no price (in terms of the number of measurements) for the presence of strongly correlated variables.

研究の動機と目的

• 予測変数が強く相関している場合に、標準的な正則化手法が機能しないため、その課題に対処すること。
• 相関のある変数を自動的にクラスタリングし、それらの推定係数を等しくする正則化フレームワークを開発すること。
• 二乗誤差損失関数および絶対誤差損失関数の両方において、OWL正則化の理論的保証を確立すること。
• クラスタリングされた強く相関する変数を持つ生成モデルにおけるOWLの統計的性能を、標本複雑度の観点から特徴づけること。
• 従来の手法とは異なり、強い相関が存在しても、追加の測定コストを負担せずに、標本要件に影響がないことを示すこと。

提案手法

• OWL正則化子を Ω_w(x) = ∑ w_i |x|_[i] として定式化し、|x|_[i] は x の絶対値の i 番目に大きい値、w_i は非増加の重みとする。
• 二乗誤差損失と絶対誤差損失の両方の最適化問題に、OWLノルムを正則化子として用いる。
• 強い相関を持つ変数に対してOWLが係数のクラスタリングを誘発する十分条件を証明し、OSCAR法を一般化する。
• ガウス過程およびラデマッハ複雑度の技術を用いて、OWLノルム球の幅に注目し、有限標本の誤差バインディングを確立する。
• 変数が完全または強い相関を持つクラスタにグループ化された生成モデルの下での統計的性能を分析する。
• 最小限の仮定の下で、正確な信号回復のための標本複雑度バインディングを O(s log p) として導出する。これはクラスタサイズに依存しない。

実験結果

リサーチクエスチョン

• RQ1 設計行列における強い相関を持つ変数に対して、OWL正則化が係数のクラスタリングを誘発する条件は何か？
• RQ2 絶対誤差損失の下でOWLはどのように動作するか？また、OSCARのクラスタリング特性がこの設定に一般化されるか？
• RQ3 変数が強い相関を持つクラスタにグループ化された状況で、sスパース信号を回復するためのOWL正則化の標本複雑度は何か？
• RQ4 設計行列の一部の列が完全に相関している場合、OWL正則化は最適な標本複雑度を維持するか？
• RQ5 相関のある予測変数が存在する状況でも、OWLは標準LASSOと同等の標本複雑度を達成できるか？追加の測定コストは発生しないか？

主な発見

• 二乗誤差損失および絶対誤差損失の両方において、OWL正則化は強い相関を持つ変数に対して係数推定のクラスタリングを誘発する。これは、既存のOSCARに関する結果を一般化・強化する。
• 絶対誤差損失の下で、本稿は新規のクラスタリング条件を確立した。著者らの知る限り、これは類例のない初の試みである。
• 完全に相関する変数が s 個のクラスタにグループ化され、クラスタ間は相関がない生成モデルにおいて、O(s log p) の標本で真の信号が高確率で回復可能である。
• OWLの標本複雑度は、i.i.d. 設計や制限等方性性質（RIP）の下での標準的なスパース回復と同一であり、相関のための追加測定は不要であることを意味する。
• ガウス設計の下では、推定誤差が O(√(s log p)/n) で有界であることが保証され、そのバインディングはクラスタ内の係数数に依存せず、s と p のみに依存する。
• 理論的分析により、OWLノルム球のミンコフスキー汎関数が推定誤差を制御しており、その球の幅はガウス過程およびラデマッハ複雑度の道具を用いてバインディングされている。