[論文レビュー] Ridge Regression and Provable Deterministic Ridge Leverage Score Sampling

Shannon McCurdy|arXiv (Cornell University)|Mar 15, 2018

Sparse and Compressive Sensing Techniques参考文献 8被引用数 3

ひとこと要約

本稿では、リッジレバレッジスコアを用いた列サンプリングの証明可能に正確な決定的アルゴリズムを導入し、列サブセット選択、プロジェクション・コスト保存、スペクトルバインディングに関して$(1+\epsilon)$近似保証を確保する。パワー則の減衰を示すリッジレバレッジスコアの下で、この手法は確率的アルゴリズムと同等の精度を達成する一方で、決定的かつ再現可能な結果により解釈可能性を提供する。

ABSTRACT

Ridge leverage scores provide a balance between low-rank approximation and regularization, and are ubiquitous in randomized linear algebra and machine learning. Deterministic algorithms are also of interest in the moderately big data regime, because deterministic algorithms provide interpretability to the practitioner by having no failure probability and always returning the same results. We provide provable guarantees for deterministic column sampling using ridge leverage scores. The matrix sketch returned by our algorithm is a column subset of the original matrix, yielding additional interpretability. Like the randomized counterparts, the deterministic algorithm provides (1 + ε) error column subset selection, (1 + ε) error projection-cost preservation, and an additive-multiplicative spectral bound. We also show that under the assumption of power-law decay of ridge leverage scores, this deterministic algorithm is provably as accurate as randomized algorithms. Lastly, ridge regression is frequently used to regularize ill-posed linear least-squares problems. While ridge regression provides shrinkage for the regression coefficients, many of the coefficients remain small but non-zero. Performing ridge regression with the matrix sketch returned by our algorithm and a particular regularization parameter forces coefficients to zero and has a provable (1 + ε) bound on the statistical risk. As such, it is an interesting alternative to elastic net regularization.

研究の動機と目的

• 中程度のサイズのデータセットにおいて、高い精度と解釈可能性を保証する決定的列サンプリングアルゴリズムの開発。
• リッジレバレッジスコアを用いた列サブセット選択、プロジェクション・コスト保存、スペクトル近似に関する理論的保証の提供。
• リッジレバレッジスコアのパワー則の減衰下で、決定的サンプリングが確率的手法と同等の性能を示すことを示すこと。
• 決定的スケッチ上でリッジ回帰を実行した場合に、統計的リスクが$(1+\epsilon)$の境界を満たすことを示し、リッジ回帰の代替としての有効性を示すこと。

提案手法

• アルゴリズムは、$\bar{\tau}_i(\mathbf{A}) = \mathbf{a}_i^T(\mathbf{A}\mathbf{A}^T + \lambda_2\mathbf{I})^+\mathbf{a}_i$ で定義される決定的リッジレバレッジスコアに基づいて列を選択し、$\lambda_2 = \frac{1}{k}\|\mathbf{A} - \mathbf{A}_k\|_F^2$ とする。
• 選択されたリッジレバレッジスコアの合計が $\bar{t} - \epsilon$ を超えるような列サブセット $\mathbf{C}$ を選択する。ここで $\bar{t}$ はリッジレバレッジスコア行列のトレースの合計である。
• 解析的導出と行列摂動理論を用いて、列サブセット選択、プロジェクション・コスト保存、スペクトルノルムバインディングに関して$(1+\epsilon)$近似を保証する。
• リッジレバレッジスコアのパワー則の減衰を仮定することで、必要な列数の上限を導出し、確率的サンプリングと同等の精度を達成することを示す。
• 安定性と理論的保証を確保するため、正則化パrameter $\lambda_2$ をランク$k$のSVD近似 $\mathbf{A}_k$ を用いて定義する。
• 行列集中不等式とスペクトル分解を用いて理論的境界を導出し、証明はPapailiopoulosら（2014年）およびCohenら（2017年）の手法を改変して適用する。

実験結果

リサーチクエスチョン

• RQ1 決定的リッジレバレッジスコアサンプリングアルゴリズムは、列サブセット選択、プロジェクション・コスト保存、スペクトルバインディングに関して$(1+\epsilon)$近似保証を達成できるか？
• RQ2 決定的リッジレバレッジスコアサンプリングが確率的サンプリングと同等の精度を達成する条件は何か？
• RQ3 決定的スケッチ上でリッジ回帰を実行した場合、エラスティックネットと比較して統計的リスクと係数のスパarsityはどのように異なるか？
• RQ4 リッジレバレッジスコアがパワー則の減衰を示す場合、必要な列数の理論的境界は何か？
• RQ5 中程度のサイズのデータセットにおいて、決定的アルゴリズムは精度を損なわず、解釈可能性を提供できるか？

主な発見

• 決定的アルゴリズムは、列サブセット選択、プロジェクション・コスト保存、スペクトルノルムバインディングに関して$(1+\epsilon)$近似を達成し、確率的リッジレバレッジスコアサンプリングと同等の保証を満たす。
• リッジレバレッジスコアがパワー則の減衰を示す場合、決定的アルゴリズムは$O(k \log k / \epsilon^2)$列の選択で十分であり、確率的手法と同等のサンプル複雑度を達成する。
• 決定的スケッチ上でリッジ回帰を実行した場合、正則化の効果により係数がゼロに近づくことから、統計的リスクが$(1+\epsilon)$の境界を満たす。
• 小さな特異値に依存しないため、古典的レバレッジスコアサンプリングに比べ、より安定的かつ解釈可能な結果を提供する。
• LGG腫瘍の多オミクスデータを用いた実験では、$k=3$であっても、誤差を低く維持するための列数はわずか数100程度（例：~100）で十分であることが示された。
• 予測誤差（$\hat{\mathbf{y}}_{\mathbf{A}} - \hat{\mathbf{y}}_{\mathbf{C}}$）のヒストограмは最小限の乖離を示し、スケッチの予測適合性が極めて高いことを確認した。