[論文レビュー] The Mismatch Principle: The Generalized Lasso Under Large Model Uncertainties

Martin Genzel, Gitta Kutyniok|arXiv (Cornell University)|Aug 20, 2018

Sparse and Compressive Sensing Techniques参考文献 23被引用数 5

ひとこと要約

本稿では、大きなモデル不確実性下での一般化Lassoの非漸近的誤差バウンドを導出するための一般枠組みである「不一致原理」を導入する。サブガウス型設計と凸制約を活用することで、特定の観測モデルを仮定せず、半パラメトリックモデル（単一インデックスモデルや一般化線形モデルを含む）においても、強固な推定保証を確立する。これにより、Lassoが非線形歪みや量子化に対して耐性を示すことが示された。

ABSTRACT

We study the estimation capacity of the generalized Lasso, i.e., least squares minimization combined with a (convex) structural constraint. While Lasso-type estimators were originally designed for noisy linear regression problems, it has recently turned out that they are in fact robust against various types of model uncertainties and misspecifications, most notably, non-linearly distorted observation models. This work provides more theoretical evidence for this somewhat astonishing phenomenon. At the heart of our analysis stands the mismatch principle, which is a simple recipe to establish theoretical error bounds for the generalized Lasso. The associated estimation guarantees are of independent interest and are formulated in a fairly general setup, permitting arbitrary sub-Gaussian data, possibly with strongly correlated feature designs; in particular, we do not assume a specific observation model which connects the input and output variables. Although the mismatch principle is conceived based on ideas from statistical learning theory, its actual application area are (high-dimensional) estimation tasks for semi-parametric models. In this context, the benefits of the mismatch principle are demonstrated for a variety of popular problem classes, such as single-index models, generalized linear models, and variable selection. Apart from that, our findings are also relevant to recent advances in quantized and distributed compressed sensing.

研究の動機と目的

• 大きなモデル不確実性下での一般化Lassoの理論的誤差バウンドを確立すること。
• 一般化Lassoが非線形観測モデルやモデル不適合に対してどれほど耐性を示すかを示すこと。
• 特定のリンク関数やノイズモデルを仮定せずに、推定保証を導出する一般的かつ再利用可能なフレームワークを提供すること。
• Lassoの適用範囲を線形モデルに限らず、半パラメトリックおよび非線形設定へと拡張すること。

提案手法

• 高次元推定における誤差バウンドを導出する一般的レシピとして、不一致原理を提案する。
• サブガウス型設計行列を用いて、凸制約付きの一般化Lassoにこの原理を適用する。
• ガウス幅と経験過程論を用いてバウンドを導出する。これにより、y| x の条件付き分布に関する仮定を回避する。
• 双対性に基づくアプローチを用い、推定誤差を制約集合と設計行列の幾何構造に関連付ける。
• 出力変数yの分布に依存しない誤差バウンドを確立する。設計行列のサブガウス性にのみ依存する。
• 単一インデックスモデル、一般化線形モデル、量子化された圧縮センシングの複数のモデルでフレームワークを検証する。

実験結果

リサーチクエスチョン

• RQ1 真の観測モデルが不明または不適合である場合、一般化Lassoに対して非漸近的誤差バウンドをどのように導出できるか。
• RQ2 一般化Lassoが観測プロセスにおける非線形歪みに対して、どの程度耐性を示すか。
• RQ3 パラメトリックなリンク関数を仮定せずに、不一致原理が明示的な誤差バウンドを提供できるか。
• RQ4 強い特徴相関や高次元設計下で、この手法はどの程度の性能を示すか。
• RQ5 不一致原理は、量子化および分散型圧縮センシングにどのような意味を持つのか。

主な発見

• 不一致原理は、任意のサブガウス型設計と凸制約下で、一般化Lassoの非漸近的誤差バウンドを提供する。観測モデルが不明であっても成立する。
• 推定誤差バウンドは、制約集合のガウス幅に比例し、幾何的構造を反映する。
• 一般化Lassoは、量子化済みおよび非線形的に歪んだ出力に対しても、証明可能な耐性を示す。
• フレームワークは単一インデックスモデルおよび一般化線形モデルに適用可能であり、ややいなごろの正則性条件のもとで明示的な誤差率を導出できる。
• 結果は、分散型および量子化された圧縮センシングへと拡張可能であり、高次元推定における凸緩和の強力さを示している。
• 応答変数に関する強いパラメトリック仮定を回避するため、最小限の構造的仮定のもとで半パラメトリックモデルに適用可能である。