[論文レビュー] Iterative Hessian sketch: Fast and accurate solution approximation for constrained least-squares

Mert Pilancı, Martin J. Wainwright|arXiv (Cornell University)|Nov 3, 2014

Sparse and Compressive Sensing Techniques参考文献 40被引用数 32

ひとこと要約

本稿では、制約付き最小二乗問題における高速かつ高精度な解の近似を実現するための新しい確率的アルゴリズム、反復的ヘッシアンスケッチを提案する。ヘッシアン情報に基づいてスケッチに基づく解を反復的に改善することで、統計的複雑さに比例した最適な射影次元スケーリングと対数的反復回数を達成し、解の近似誤差において古典的スケッチ法を著しく上回る。

ABSTRACT

We study randomized sketching methods for approximately solving least-squares problem with a general convex constraint. The quality of a least-squares approximation can be assessed in different ways: either in terms of the value of the quadratic objective function (cost approximation), or in terms of some distance measure between the approximate minimizer and the true minimizer (solution approximation). Focusing on the latter criterion, our first main result provides a general lower bound on any randomized method that sketches both the data matrix and vector in a least-squares problem; as a surprising consequence, the most widely used least-squares sketch is sub-optimal for solution approximation. We then present a new method known as the iterative Hessian sketch, and show that it can be used to obtain approximations to the original least-squares problem using a projection dimension proportional to the statistical complexity of the least-squares minimizer, and a logarithmic number of iterations. We illustrate our general theory with simulations for both unconstrained and constrained versions of least-squares, including $\ell_1$-regularization and nuclear norm constraints. We also numerically demonstrate the practicality of our approach in a real face expression classification experiment.

研究の動機と目的

• 制約付き最小二乗問題における確率的スケッチ法の解の近似品質のギャップを埋める。
• コストの近似において最適であるにもかかわらず、解の近似においては古典的手法が劣っていることを特定する。
• 最小のスケッチ次元と少ない反復回数で最適な解の近似を達成する新しい手法を開発する。
• 一般の凸制約、特に ℓ₁ 正則化およびノルム正則化を含む条件下で、解の近似誤差に対する理論的保証を提供する。
• シミュレーションおよび実世界の顔の感情分類を用いて、実用的有効性を実証する。

提案手法

• ヘッシアンに基づく更新を用いて、反復的にスケッチによる解を改善する、反復的ヘッシアンスケッチアルゴリズムを提案する。
• データ行列 $ A $ およびベクトル $ y $ を低次元空間に射影するために、スケッチ行列 $ S \in \mathbb{R}^{m \times n} $ を用いる。
• 各反復で、スケッチされた最小二乗問題 $ \widetilde{x} = \arg\min_{x \in \mathcal{C}} \frac{1}{2n} \| S A x - S y \|_2^2 $ を解き、解の推定値を更新する。
• 目的関数のヘッシアンを活用して反復的改善を図り、単一のスケッチを超える解の精度向上を実現する。
• 予測ノルム $ \| \widetilde{x} - x^{\text{LS}} \|_A $ を用いて解の近似誤差を制御し、期待誤差に対する理論的境界を導出する。
• 測度の集中およびガウス過程の技術を応用して、解の誤差に対する尾部境界を導出し、高確率的保証を確立する。

実験結果

リサーチクエスチョン

• RQ1 なぜ古典的手法の最小二乗スケッチは、コストの近似において最適であるにもかかわらず、解の近似においては劣っているのか？
• RQ2 最小のスケッチ次元と少ない反復回数で、最適な解の近似誤差を達成できるスケッチ法を設計できるか？
• RQ3 制約付き最小二乗問題において、所定の解の近似誤差を達成するために必要な最小スケッチ次元は何か？
• RQ4 反復的ヘッシアンスケッチは、解の精度および収束速度において古典的スケッチ法と比べてどのように異なるか？
• RQ5 この手法は、ℓ₁ 正則化およびノルム正則化を含む任意の凸制約に一般化可能か？

主な発見

• 任意の確率的手法が $ A $ と $ y $ の両方をスケッチする場合の一般下界により、古典的手法の最小二乗スケッチが解の近似において劣っていることが示された。
• 反復的ヘッシアンスケッチは、高確率で $ \mathbb{E}[\| \widetilde{x} - x^{\text{LS}} \|_A^2] \leq 16t\varepsilon_n $ の解の近似誤差を達成する。ここで $ \varepsilon_n $ は最小化子の統計的複雑さに依存する。
• 本手法は、環境次元ではなく解の統計的複雑さに比例するスケッチ次元を要するため、顕著な計算コストの削減が可能である。
• 反復回数は所望の精度に対して対数的にスケーリングされるため、高次元問題においても効率的である。
• 理論的境界により、解の近似誤差が $ n t \varepsilon_n / \sigma^2 $ に対して指数的に減少することが示され、高確率的収束が保証される。
• シミュレーションおよび実世界の実験（顔の感情分類を含む）により、本手法が古典的スケッチ法に比べて解の精度において実用的に優れていることが確認された。