[논문 리뷰] Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization

Jonathan Lacotte, Mert Pilancı|arXiv (Cornell University)|2020. 06. 10.

Face and Expression Recognition인용 수 5

한 줄 요약

이 논문은 정규화된 최소 제곱 최적화를 위한 적응형 스케치 알고리즘을 제안하며, 전체 데이터 차원이 아닌 문제의 유효 차원으로 임bedding 차원을 줄인다. 가우시안 및 SRHT 임베딩에 대해 날카운 매트릭스 이탈 한계를 유도함으로써, 더 빠른 수렴과 향상된 계산 복잡도를 달성하면서도 높은 확률 보장을 유지하며, 기준 솔버인 공액 기울기 방법보다 벤치마크 데이터셋에서 뛰어난 성능을 보인다.

ABSTRACT

We propose a new randomized algorithm for solving L2-regularized least-squares problems based on sketching. We consider two of the most popular random embeddings, namely, Gaussian embeddings and the Subsampled Randomized Hadamard Transform (SRHT). While current randomized solvers for least-squares optimization prescribe an embedding dimension at least greater than the data dimension, we show that the embedding dimension can be reduced to the effective dimension of the optimization problem, and still preserve high-probability convergence guarantees. In this regard, we derive sharp matrix deviation inequalities over ellipsoids for both Gaussian and SRHT embeddings. Specifically, we improve on the constant of a classical Gaussian concentration bound whereas, for SRHT embeddings, our deviation inequality involves a novel technical approach. Leveraging these bounds, we are able to design a practical and adaptive algorithm which does not require to know the effective dimension beforehand. Our method starts with an initial embedding dimension equal to 1 and, over iterations, increases the embedding dimension up to the effective one at most. Hence, our algorithm improves the state-of-the-art computational complexity for solving regularized least-squares problems. Further, we show numerically that it outperforms standard iterative solvers such as the conjugate gradient method and its pre-conditioned version on several standard machine learning datasets.

연구 동기 및 목표

• 대규모 정규화된 최소 제곱 문제에서 계산 비용을 줄이기 위해 스케칭 차원을 최소화하는 것.
• 전체 데이터 차원이 아닌 유효 차원을 활용하여 수렴 보장을 향상시키는 것.
• 사전 지식 없이 유효 차원까지 동적으로 임베딩 크기를 증가시키는 실용적이고 적응형 알고리즘을 설계하는 것.
• 최신 기술보다 더 낮은 계산 복잡도를 달성하면서도 높은 확률 오차 한계를 유지하는 것.

제안 방법

• 가우시안 또는 SRHT 임베딩을 통한 무작위 투영을 이용해 헤시안 행렬을 근사하는 헤시안 스케칭을 사용한다.
• 모든 가우시안 및 SRHT 임베딩에 대해 타원체 집합 위에서 날카운 매트릭스 이탈 부등식을 유도하여 근사 오차를 제한한다.
• 더 날카운 농도 한계를 확립하기 위해 SRHT 임베딩에 대한 새로운 기술적 접근을 도입한다.
• 유효 차원에 도달할 때까지 매번 증가시키는 임베딩 차원 1에서 시작하는 적응형 알고리즘을 설계한다.
• 수렴을 가속화하기 위해 근사 헤시안 $ H_S = (SA)^T SA + \nu^2 I $ 를 사용하는 폴리악-IHS 방법을 적용한다.
• 오차 평가 기준으로 예측 노름 $ \frac{1}{2}\|\overline{A}(\widetilde{x}-x^*)\|_2^2 $ 을 사용한다.

실험 결과

연구 질문

• RQ1 무작위 최소 제곱 솔버에서 스케칭 차원을 유효 차원으로 줄일 수 있는가, 이때 수렴 보장은 손상되지 않는가?
• RQ2 타원체 집합에 대해 가우시안 및 SRHT 임베딩의 매트릭스 이탈 한계는 어떻게 비교되는가?
• RQ3 실용적이고 적응형 알고리즘을 설계하여 임베딩 차원을 유효 차원에 따라 동적으로 조절할 수 있는가?
• RQ4 데이터 차원 대비 유효 차원을 사용할 경우 계산 복잡도와 수렴 속도에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 실생활에서 표준 반복 솔버인 공액 기울기 방법보다 뛰어나게 성능을 발휘하는가?

주요 결과

• 임베딩 차원을 유효 차원 $ d_e \leq d $ 로 줄일 수 있으며, 이로 인해 가우시안 및 SRHT 임베딩 모두에 대해 높은 확률 수렴 보장을 유지할 수 있다.
• 가우시안 임베딩의 경우, 고전적인 농도 한계의 상수를 개선하여 더 날카운 오차 한계를 도출한다.
• SRHT 임베딩의 경우, 새로운 기술적 접근을 통해 더 날카운 농도 불등식을 도출하였으며, 예상보다 뛰어난 성능을 보였다.
• 제안된 적응형 알고리즘은 전체 차원 스케칭을 피하고 유효 차원까지 동적으로 차원을 증가시킴으로써 향상된 계산 복잡도를 달성한다.
• 수치 실험 결과, 표준 기계 학습 데이터셋에서 공액 기울기 방법과 그 전처리 버전보다 성능이 뛰어나게 나타났다.
• 오차율은 $ (d_e/m)^t $ 의 형태로 스케일링되며, 여기서 $ m $ 은 임베딩 차원이다. 이는 $ m \approx d_e $ 가 수렴을 빠르게 하기에 충분하다는 것을 확인한다.