[論文レビュー] On Low-rank Trace Regression under General Sampling Distribution

Nima Hamidi, Mohsen Bayati|arXiv (Cornell University)|Apr 18, 2019

Sparse and Compressive Sensing Techniques参考文献 29被引用数 7

ひとこと要約

本稿は、一般の標本分布のもとで低ランクトレース回帰の非漸近的誤差バインディングを、新しいスパイクネス条件を用いて確立し、制限された強い凸性を実現する。また、理論的洞察に基づくしきい値が不明な状況においても、交差検証による正則化パラメータが近似的に最適な性能を達成することを証明しており、合成データおよび実世界のデータにおけるシミュレーションでも、従来の手法を上回ることを示している。

ABSTRACT

In this paper, we study the trace regression when a matrix of parameters B* is estimated via the convex relaxation of a rank-regularized regression or via regularized non-convex optimization. It is known that these estimators satisfy near-optimal error bounds under assumptions on the rank, coherence, and spikiness of B*. We start by introducing a general notion of spikiness for B* that provides a generic recipe to prove the restricted strong convexity of the sampling operator of the trace regression and obtain near-optimal and non-asymptotic error bounds for the estimation error. Similar to the existing literature, these results require the regularization parameter to be above a certain theory-inspired threshold that depends on observation noise that may be unknown in practice. Next, we extend the error bounds to cases where the regularization parameter is chosen via cross-validation. This result is significant in that existing theoretical results on cross-validated estimators (Kale et al., 2011; Kumar et al., 2013; Abou-Moustafa and Szepesvari, 2017) do not apply to our setting since the estimators we study are not known to satisfy their required notion of stability. Finally, using simulations on synthetic and real data, we show that the cross-validated estimator selects a near-optimal penalty parameter and outperforms the theory-inspired approach of selecting the parameter.

研究の動機と目的

• 低ランクトレース回帰における標本抽出演算子の制限された強い凸性を保証する一般化されたスパイクネスの概念を定義すること。
• 特定のノイズや設計に関する仮定に依存しない、一般の標本分布のもとでの凸および非凸推定器の非漸近的誤差バインディングを導出すること。
• 従来の安定性に基づく理論フレームワークではカバーされていない、交差検証による推定器への理論的保証を拡張すること。
• 交差検証が有限標本において理論的洞察に基づく選択より優れた性能を示すことを経験的に検証すること。

提案手法

• 真のパラメータ行列 $\mathbf{B}^\star$ に対する一般化されたスパイクネス条件を導入し、標本抽出演算子の制限された強い凸性を保証する。
• この条件を用いて、一般の標本分布のもとでのトレース回帰推定器の非漸近的誤差バインディングを導出する。
• 凸（トレースノルム正則化）および非凸（因子分解）最適化アプローチの両方にこのフレームワークを適用する。
• 従来の理論的枠組みでは安定性が保証されていないにもかかわらず、交差検証推定器の理論的性能保証を確立する。
• 標準的な $k$-fold、リファit、オーバーフィットバージョンを含む交差検証のバリエーションを用いて、ペナルティ選択戦略を比較する。
• 合成データおよび実データ（例：Movielens）を用いた広範なシミュレーションを実施し、相対誤差およびペナルティ選択の挙動を評価する。

実験結果

リサーチクエスチョン

• RQ1 任意の標本分布のもとで、トレース回帰における制限された強い凸性を保証する一般化されたスパイクネス条件を定義できるか？
• RQ2 理論的制限がある中でも、交差検証による正則化パラメータ選択がなされる場合、トレース回帰推定器の誤差バインディングは非漸近的かつ近似的に最適のままであるか？
• RQ3 推定精度およびペナルティ選択の観点から、交差検証と理論的洞察に基づくしきい値選択はどのように比較されるか？
• RQ4 さまざまな交差検証方式（例：$k$-fold と オーバーフィット）の低ランク行列推定における経験的挙動はいかなるものか？
• RQ5 従来の理論が安定性を保証しないにもかかわらず、交差検証推定器が近似的に最適性に達することができるか？

主な発見

• 提案されたスパイクネス条件により、一般の分布のもとで標本抽出演算子の制限された強い凸性が確立され、誤差バインディングの基礎が形成される。
• ランク、コherencty、およびスパイクネスに明示的な依存関係を示す一般の標本分布のもとで、凸および非凸推定器の非漸近的誤差バインディングが確立される。
• 既存の安定性に基づく理論フレームワークではカバーされていないにもかかわらず、交差検証推定器は近似的に最適な性能を達成する。
• シミュレーションでは、交差検証が常にオラクル選択に近いペナルティパラメータを選択しており、有限標本において理論的洞察に基づくしきい値を上回る性能を示す。
• cv refit バージョンはオラクル推定器とほぼ同等の性能を示し、特に標本数が少ないまたはノイズが多い状況では理論的洞察に基づく手法を上回ることが多い。
• オーバーフィット交差検証バージョンはノイズが多い状況では性能が低いが、$n$ が大きくない場合の低〜中程度のノイズでは直感に反して優れた性能を示す。これは $\lambda=0$ 時に正確な回復が達成される性質に起因する。