[論文レビュー] Randomized Least Squares Regression: Combining Model- and Algorithm-Induced Uncertainties.

T. Jocelyn, Ilse C. F. Ipsen|arXiv (Cornell University)|Aug 17, 2018

Sparse and Compressive Sensing Techniques参考文献 31被引用数 6

ひとこと要約

この論文は、モデルノイズと確率的スケッチアルゴリズムの両方による最小二乗回帰解の不確実性を分析し、総バイアスおよび分散の正確な式を導出する。アルゴリズム由来の不確実性は、元の問題とスケッチされた問題の間の期待ランク不足とプロジェクタの差に支配されていることを示している。

ABSTRACT

We analyze the uncertainties in the minimum norm solution of full-rank regression problems, arising from Gaussian linear models, computed by randomized (row-wise sampling and, more generally, sketching) algorithms. From a deterministic perspective, our structural perturbation bounds imply that least squares problems are less sensitive to multiplicative perturbations than to additive perturbations. From a probabilistic perspective, our expressions for the total expectation and variance with regard to both model- and algorithm-induced uncertainties, are exact, hold for general sketching matrices, and make no assumptions on the rank of the sketched matrix. The relative differences between the total bias and variance on the one hand, and the model bias and variance on the other hand, are governed by two factors: (i) the expected rank deficiency of the sketched matrix, and (ii) the expected difference between projectors associated with the original and the sketched problems. A simple example, based on uniform sampling with replacement, illustrates the statistical quantities.

研究の動機と目的

• 最小二乗回帰解に及ぼすモデル由来およびアルゴリズム由来の不確実性の組み合わせ的影響を定量化すること。
• ランクの仮定なしに一般のスケッチ行列に対して、総期待値および分散の正確な式を導出すること。
• アルゴリズム的不確実性が、スケッチされた問題における期待ランク不足およびプロジェクタの差にどのように依存するかを特定すること。
• 総不確実性（バイアスおよび分散）をモデルのみの不確実性と比較し、主要な支配要因を同定すること。

提案手法

• 乗法的および加法的行列摂動の下での最小二乗解に対する構造的摂動バウンドを導出する。
• 確率的モデリングを用いて、モデルおよびアルゴリズム的ランダムネスの両方を統合し、総バイアスおよび分散の正確な式を計算する。
• スケッチ行列を確率的作用素として扱うフレームワークを導入し、スケッチ行列がフルランクであると仮定しない分析を可能にする。
• 重要な数量を定義する：スケッチ行列の期待ランク不足および元の問題とスケッチされた問題のプロジェクタの期待差。
• 一様なリプレースメント抽出によるスケッチの例にフレームワークを適用し、統計的挙動を図示する。
• アルゴリズム的不確実性とスケッチプロセスの幾何的性質との間の理論的関係を確立する。

実験結果

リサーチクエスチョン

• RQ1 モデル由来およびアルゴリズム由来の不確実性が、確率的回帰における最小二乗解にどのように共同で影響を与えるか。
• RQ2 モデル的およびアルゴリズム的不確実性が共存する状況における、総バイアスおよび分散の正確な式は何か。
• RQ3 スケッチ行列の期待ランク不足が、総不確実性にどのように影響するか。
• RQ4 元の問題とスケッチされた問題のプロジェクタの差が、アルゴリズム的不確実性を決定づける役割を果たすか。
• RQ5 相対的な大きさの観点から、総バイアスおよび分散はモデルのみのバイアスおよび分散と比べてどう異なるか。

主な発見

• 一般のスケッチ行列に対してランクの仮定なしに、確率的最小二乗回帰における総バイアスおよび分散が正確に特徴づけられている。
• 構造的摂動バウンドに基づくと、最小二乗問題は加法的摂動よりも乗法的摂動に対してはるかに感度が低いことが判明した。
• 総不確実性とモデルのみの不確実性の相対的差は、2つの要因によって支配されている：期待ランク不足および期待プロジェクタ差。
• 一様なリプレースメント抽出の例において、バイアスや分散といった統計的量が明示的に図示され、理論的予測と整合していることが示された。
• フレームワークにより、アルゴリズム的不確実性が、特にプロジェクタの差を通じて、スケッチプロセスの幾何的性質と本質的に結びついていることが明らかになった。