[논문 리뷰] Iterative Hessian sketch: Fast and accurate solution approximation for constrained least-squares

Mert Pilancı, Martin J. Wainwright|arXiv (Cornell University)|2014. 11. 03.

Sparse and Compressive Sensing Techniques참고 문헌 40인용 수 32

한 줄 요약

이 논문은 제약 조건이 있는 최소 제곱 문제에서 빠르고 정확한 해 근사값을 구하기 위한 새로운 확률적 알고리즘인 반복 헤시안 스케치를 소개한다. 헤시안 정보를 활용해 스케칭 기반 해를 반복적으로 개선함으로써, 통계적 복잡도에 비례하는 최적의 투영 차원 스케일링과 로그 수준의 반복 횟수를 달성하여, 해 근사 오차에서 기존 스케칭 기법보다 뚜렷이 뛰어나다.

ABSTRACT

We study randomized sketching methods for approximately solving least-squares problem with a general convex constraint. The quality of a least-squares approximation can be assessed in different ways: either in terms of the value of the quadratic objective function (cost approximation), or in terms of some distance measure between the approximate minimizer and the true minimizer (solution approximation). Focusing on the latter criterion, our first main result provides a general lower bound on any randomized method that sketches both the data matrix and vector in a least-squares problem; as a surprising consequence, the most widely used least-squares sketch is sub-optimal for solution approximation. We then present a new method known as the iterative Hessian sketch, and show that it can be used to obtain approximations to the original least-squares problem using a projection dimension proportional to the statistical complexity of the least-squares minimizer, and a logarithmic number of iterations. We illustrate our general theory with simulations for both unconstrained and constrained versions of least-squares, including $\ell_1$-regularization and nuclear norm constraints. We also numerically demonstrate the practicality of our approach in a real face expression classification experiment.

연구 동기 및 목표

• 확률적 스케칭 기법이 제약 조건이 있는 최소 제곱 문제에서 해 근사 품질의 격차를 해결한다.
• 비용 근사에서 최적이지만 해 근사에서 비최적이 되는 고전적 최소 제곱 스케칭이 해 근사에서 비최적이 되는 것을 확인한다.
• 최소한의 스케칭 차원과 적은 반복 횟수로 최적의 해 근사값을 달성하는 새로운 방법을 개발한다.
• 일반적인 볼록 제약 조건, 특히 ℓ₁ 및 노름 정규화를 포함한 이론적 보장을 제공한다.
• 시뮬레이션과 실제 얼굴 표정 분류 사례를 통해 실용적 효과성을 입증한다.

제안 방법

• 헤시안 기반 업데이트를 사용해 스케칭 기반 해를 반복적으로 개선하는 반복 헤시안 스케칭 알고리즘을 제안한다.
• 데이터 행렬 $ A $ 와 벡터 $ y $ 를 낮은 차원 공간으로 투영하기 위해 스케칭 행렬 $ S \in \mathbb{R}^{m \times n} $ 을 사용한다.
• 각 반복 단계에서 스케칭된 최소 제곱 문제 $ \widetilde{x} = \arg\min_{x \in \mathcal{C}} \frac{1}{2n} \| S A x - S y \|_2^2 $ 를 풀어 해 추정치를 업데이트한다.
• 목적 함수의 헤시안을 활용해 반복적 개선을 유도함으로써, 단일 스케칭을 넘어서 해 정확도를 향상시킨다.
• 예측 노름 $ \| \widetilde{x} - x^{\text{LS}} \|_A $ 를 사용해 해 근사 오차를 제어하며, 기대 오차에 대한 이론적 경계를 제공한다.
• 측도 집중 및 가우시안 과정 기법을 적용해 해 오차의 尾확률 경계를 유도함으로써 고확률 보장을 확보한다.

실험 결과

연구 질문

• RQ1 고전적 최소 제곱 스케칭이 비용 근사에서는 최적이지만 왜 해 근사에서는 비최적이 되는가?
• RQ2 최소한의 스케칭 차원과 적은 반복 횟수로 최적의 해 근사 오차를 달성할 수 있는 스케칭 방법을 설계할 수 있는가?
• RQ3 제약 조건이 있는 최소 제곱 문제에서 주어진 해 근사 오차를 달성하기 위해 필요한 최소 스케칭 차원은 얼마인가?
• RQ4 반복 헤시안 스케칭은 해 정확도와 수렴 속도 측면에서 고전적 스케칭과 비교해 어떻게 다른가?
• RQ5 이 방법은 ℓ₁ 및 노름 정규화를 포함한 임의의 볼록 제약 조건으로 일반화될 수 있는가?

주요 결과

• 모든 확률적 방법이 $ A $ 와 $ y $ 를 동시에 스케칭할 때, 일반적인 하한선을 통해 고전적 최소 제곱 스케칭이 해 근사에서 비최적임을 입증한다.
• 반복 헤시안 스케칭은 고확률로 $ \mathbb{E}[\| \widetilde{x} - x^{\text{LS}} \|_A^2] \leq 16t\varepsilon_n $ 의 해 근사 오차를 달성하며, 여기서 $ \varepsilon_n $ 은 최소화자의 통계적 복잡도에 따라 달라진다.
• 이 방법은 환경 차원이 아닌 해의 통계적 복잡도에 비례하는 스케칭 차원을 요구하므로, 상당한 계산적 절감이 가능하다.
• 반복 횟수는 원하는 정확도에 대해 로그 수준으로 증가하므로 고차원 문제에 대해 효율적이다.
• 이론적 경계에 따르면 해 근사 오차는 $ n t \varepsilon_n / \sigma^2 $ 에 대해 지수적으로 감소하므로 고확률 수렴 보장이 이루어진다.
• 시뮬레이션과 실제 실험(얼굴 표정 분류 포함)을 통해 고전적 스케칭 대비 해 정확도에서 본 방법의 실용적 우수성을 확인한다.