[論文レビュー] Structured Recovery with Heavy-tailed Measurements: A Thresholding Procedure and Optimal Rates

Xiaohan Wei|arXiv (Cornell University)|Apr 16, 2018

Sparse and Compressive Sensing Techniques参考文献 23被引用数 9

ひとこと要約

本稿では、有限モーメントしか持たない重タール測定値からの構造的信号回復のための正則化されたしきい値付き最小二乗推定量を提案する。線形リンク関数に対しては(20+ε)次モーメント、一般リンク関数に対しては(4+ε)次モーメントという最小限のモーメント仮定のもとで、従来のサブガウスィアン仮定が成り立たない場合でも、高確率で最適なサンプル数と誤差率を達成することを確立する。

ABSTRACT

This paper introduces a general regularized thresholded least-square procedure estimating a structured signal $θ_*\in\mathbb{R}^d$ from the following observations: $y_i = f(\langle\mathbf{x}_i, θ_* angle, ξ_i),~i\in\{1,2,\cdots,N\}$, with i.i.d. heavy-tailed measurements $\{(\mathbf{x}_i,y_i)\}_{i=1}^N$. A general framework analyzing the thresholding procedure is proposed, which boils down to computing three critical radiuses of the bounding balls of the estimator. Then, we demonstrate these critical radiuses can be tightly bounded in the following two scenarios: (1) The link function $f(\cdot)$ is linear, i.e. $y = \langle\mathbf{x},θ_* angle + ξ$, with $θ_*$ being a sparse vector and $\{\mathbf{x}_i\}_{i=1}^N$ being general heavy-tailed random measurements with bounded $(20+ε)$-moments. (2) The function $f(\cdot)$ is arbitrary unknown (possibly discontinuous) and $\{\mathbf{x}_i\}_{i=1}^N$ are heavy-tailed elliptical random vectors with bounded $(4+ε)$-moments. In both scenarios, we show under these rather minimal bounded moment assumptions, such a procedure and corresponding analysis lead to optimal sample and error bounds with high probability in terms of the structural properties of $θ_*$.

研究の動機と目的

• サブガウスィアン測定を仮定する理論的モデルと、重タールノイズや外れ値を含む現実のデータとの間のギャップを埋める。
• 有限モーメント（例：4+ε または 20+ε）しか利用できない状況における構造的信号のロバストな推定フレームワークを開発する。
• 弱いモーメント条件のもとで、スパースおよび一般構造的回復の最適なサンプル複雑度と誤差バウンドを確立する。
• 等方的サブガウスィアン設計ベクトルを仮定しない一般のしきい値処理手順を提供する。

提案手法

• 重タール観測値からの構造的信号回復のための正則化されたしきい値付き最小二乗推定量を提案する。
• 推定量のパrameter空間におけるサポートを制御する3つの重要な半径を用いた一般枠組みを導入する。
• 線形リンク関数に対しては(20+ε)次モーメント、一般未知リンク関数に対しては(4+ε)次モーメントという仮定に基づき、これらの重要な半径をバウンドする。
• ガウス幅および経験過程技法を用いて、弱いモーメント条件のもとでの推定誤差を制御する。
• 測定プロセスにおける重タール外れ値の影響を低減するために、しきい値処理を導入する。
• 弱いモーメント仮定のもとで、集中不等式を用いて推定誤差とサンプル複雑度の高確率バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 測定値が重タール的で有限モーメントしか持たない場合でも、構造的信号の最適回復レートを達成できるか？
• RQ2 最小限のモーメント仮定のもとで、しきい値ベースの正則化最小二乗手順が最適なサンプル複雑度と誤差バウンドを達成できるか？
• RQ3 重タール設計に対して、制限等長性性質（RIP）を回避または弱体化させ、モーメントに基づくバウンドに置き換えられるか？
• RQ4 等方的サブガウスィアン設計ベクトルを仮定しない状況でも、スパース回復において最適レートを達成できるか？
• RQ5 一般（おそらく不連続な）リンク関数および重タール楕円設計のもとで、誤差とサンプル複雑度はどのようにスケーリングするか？

主な発見

• 線形リンク関数およびスパース信号の場合、設計ベクトルに(20+ε)次モーメント仮定がある限り、推定量は最適な誤差レート $\sqrt{\frac{s\log d}{N}}$ を達成する。
• 任意の未知リンク関数の場合、設計ベクトルに(4+ε)次モーメント仮定がある限り、推定量は最適な誤差バウンドを達成する。
• しきい値処理により、ノイズや設計が重タール的であっても、推定量の誤差が高確率で有界であることが保証される。
• モーメントに基づく集中不等式を用いて、推定量の重要な半径がきめ細かくバウンドされ、サブガウスィアン仮定なしで最適レートが達成可能である。
• サンプル複雑度は、弱いモーメント条件のもとでも、スパース回復における情報理論的下界 $N \gtrsim s\log d$ と一致する。
• 解析により、回復にはRIPの下界のみが必要であり、サブガウスィアン性よりもはるかに弱いモーメント仮定のもとでもこれを満たすことが保証される。