[論文レビュー] High-Dimensional Regression with Binary Coefficients. Estimating Squared Error and a Phase Transition

David Gamarnik, Ilias Zadik|arXiv (Cornell University)|Jan 16, 2017

Sparse and Compressive Sensing Techniques参考文献 49被引用数 5

ひとこと要約

本稿は、スパarsityを仮定した高次元線形回帰において、二値係数を用い、新たな条件付き2階モーメント法を用いて最小二乗誤差をきめ細かく推定する。誤差の回復が情報理論的に可能となる閾値として、$ n^* = 2k\log p / \log(2k/\sigma^2 + 1) $ の鋭い相転移を同定し、LASSO/圧縮センシングの閾値未満でアルゴリズム的困難性を示す重なりギャップ性質（OGP）を確立する。

ABSTRACT

We consider a sparse linear regression model Y=Xβ^{*}+W where X has a Gaussian entries, W is the noise vector with mean zero Gaussian entries, and β^{*} is a binary vector with support size (sparsity) k. Using a novel conditional second moment method we obtain a tight up to a multiplicative constant approximation of the optimal squared error \min_β\|Y-Xβ\|_{2}, where the minimization is over all k-sparse binary vectors β. The approximation reveals interesting structural properties of the underlying regression problem. In particular, a) We establish that n^*=2k\log p/\log (2k/σ^{2}+1) is a phase transition point with the following "all-or-nothing" property. When n exceeds n^{*}, (2k)^{-1}\|β_{2}-β^*\|_0\approx 0, and when n is below n^{*}, (2k)^{-1}\|β_{2}-β^*\|_0\approx 1, where β_2 is the optimal solution achieving the smallest squared error. With this we prove that n^{*} is the asymptotic threshold for recovering β^* information theoretically. b) We compute the squared error for an intermediate problem \min_β\|Y-Xβ\|_{2} where minimization is restricted to vectors βwith \|β-β^{*}\|_0=2k ζ, for ζ\in [0,1]. We show that a lower bound part Γ(ζ) of the estimate, which corresponds to the estimate based on the first moment method, undergoes a phase transition at three different thresholds, namely n_{ ext{inf,1}}=σ^2\log p, which is information theoretic bound for recovering β^* when k=1 and σis large, then at n^{*} and finally at n_{ ext{LASSO/CS}}. c) We establish a certain Overlap Gap Property (OGP) on the space of all binary vectors βwhen n\le ck\log p for sufficiently small constant c. We conjecture that OGP is the source of algorithmic hardness of solving the minimization problem \min_β\|Y-Xβ\|_{2} in the regime n

研究の動機と目的

• 高次元線形回帰における二値係数のサポート回復の情報理論的限界を特定すること。
• 条件付き2階モーメント法を用いて、$k$-スパースな二値回帰係数の最小二乗誤差をきめ細かく近似すること。
• 真のサポートの回復が可能または不可能になる閾値 $n^*$ を同定すること。
• 低サンプル数領域におけるオーバーラップギャップ性質（OGP）を用いた問題のアルゴリズム的困難性の調査。
• 情報理論的閾値 $n^*$ と LASSO/圧縮センシングの閾値 $n_{\text{LASSO/CS}}$ の比較。

提案手法

• 著者らは、$k$-スパースな二値 $\beta$ に対する $\min_\beta \|Y - X\beta\|_2^2$ の最小二乗誤差を推定するために、新規の条件付き2階モーメント法を採用する。
• ハミング距離 $\|\beta_2 - \beta^*\|_0$ を用いて、最適解 $\beta_2$ と真の $\beta^*$ 間の関係を分析する。
• サンプルサイズ $n$ に関する二乗誤差の漸近的挙動を解析することで、$n^*$ における相転移を導出する。
• 真の係数 $\beta^*$ からのハミング距離が $2k\zeta$ の解に対する最小誤差の下界 $\Gamma(\zeta)$ を計算し、複数の閾値を明らかにする。
• $n \leq ck\log p$ に対して、二値ベクトル空間上にオーバーラップギャップ性質（OGP）を確立し、低 $n$ レジームにおけるアルゴリズム的困難性を示唆する。
• 統計物理学および制約充足問題との類似性を指摘し、OGP が $n_{\text{LASSO/CS}}$ 未満での回復の非効率性を説明する可能性があると示唆する。

実験結果

リサーチクエスチョン

• RQ1 高次元線形回帰における $k$-スパースな二値係数ベクトル $\beta^*$ の正確なサポート回復の情報理論的閾値は何か？
• RQ2 最小化を $k$-スパースな二値 $\beta$ に対して行う際、サンプルサイズ $n$ の関数として最小二乗誤差はどのように振る舞うか？
• RQ3 オーバーラップギャップ性質（OGP）は、回復問題におけるアルゴリズム的困難性をどのように説明するか？
• RQ4 閾値 $n^*$、$n_{\text{inf,1}} = \sigma^2\log p$、および $n_{\text{LASSO/CS}} = (2k + \sigma^2)\log p$ の関係は、問題のフェーズダイアグラムにおいてどのように位置づけられるか？
• RQ5 $n < n^*$ の場合、$\beta^*$ の一部すら回復可能か、それとも $n^*$ は意味のある回復のための根本的限界か？

主な発見

• 相転移点 $n^* = 2k\log p / \log(2k/\sigma^2 + 1)$ は、最適解 $\beta_2$ が $\beta^*$ に近いか（$n > n^*$ 時）またはほぼ直交的になるか（$n < n^*$ 時）を分ける。それぞれ $\|\beta_2 - \beta^*\|_0 / (2k) \approx 0$ または $1$ となる。
• 閾値 $n^*$ は LASSO/圧縮センシングの閾値 $n_{\text{LASSO/CS}} = (2k + \sigma^2)\log p$ よりも厳密に小さいため、情報理論的限界とアルゴリズム的限界の間にはギャップがあることを示唆する。
• 第一モーメントの下界 $\Gamma(\zeta)$ は、$n_{\text{inf,1}} = \sigma^2\log p$、$n^*$、$n_{\text{LASSO/CS}}$ の3つの明確な閾値を示す非単調な挙動を示し、解空間内の構造的変化を示唆する。
• $n \leq ck\log p$（$c$ は小さな定数）のとき、二値ベクトル空間上に OGP が成立し、$\beta^*$ からの中間的ハミング距離にあるすべての解が最適でないことが示唆される。これは、低 $n$ レジームにおけるアルゴリズム的困難性を説明する可能性がある。
• OGP は、$n < n_{\text{LASSO/CS}}$ のとき、$n^*$ が正確な回復の情報理論的閾値であっても、$\beta^*$ に近い解を効率的に見つけることはできないと示唆する。
• 本稿は、$n < n^*$ の場合、$\beta^*$ の定数倍のサポートでさえ回復不可能であると予想し、$n_{\text{inf,1}}$ がハミング距離空間における誤差関数の非局所的最小値から局所的最小値への遷移を示す幾何的閾値であると示唆する。