[논문 리뷰] Solving Ridge Regression using Sketched Preconditioned SVRG

Alon Gonen, Francesco Orabona외 1명|arXiv (Cornell University)|2016. 02. 07.

Stochastic Gradient Optimization Techniques참고 문헌 12인용 수 3

한 줄 요약

이 논문은 랏지 회귀 문제를 위해 스케치된 조건부 SVRG 방법을 제안하며, 무작위로 선택된 SVD 근사에 의해 주도적인 데이터 방향에 집중함으로써 수렴 속도를 가속화한다. 경험적 상관계수 행렬의 저랭크 근사를 통해 조건부를 적용함으로써 효과적인 조건수를 감소시켜, 특히 스펙트럼이 급격히 감쇠할 경우 높은 계산 비용 없이도 상당한 속도 향상을 달성한다.

ABSTRACT

We develop a novel preconditioning method for ridge regression, based on recent linear sketching methods. By equipping Stochastic Variance Reduced Gradient (SVRG) with this preconditioning process, we obtain a significant speed-up relative to fast stochastic methods such as SVRG, SDCA and SAG.

연구 동기 및 목표

• 나쁜 조건수로 인해 고차원 랏지 회귀 문제에서 스위치 방법(SVRG 등)의 수렴 속도가 느려지는 문제를 해결한다.
• 기존의 조건부 방법은 최적의 조건부를 계산하기 위해 원래 문제를 풀 필요가 있다는 한계를 극복한다.
• 완전한 헤시안의 역행렬을 구하지 않고도 주도적인 데이터 방향에 집중하는 계산 효율적인 조건부 전략을 개발한다.
• 특히 스펙트럼이 급격히 감쇠하는 경우에 실용적인 수렴 속도 향상을 위해 스케칭 기반의 SVRG와 조합함으로써 더 빠른 수렴을 가능하게 한다.
• 특히 대규모 환경에서 표준 SVRG 및 SDCA, SAG와 같은 관련 방법들에 비해 이론적·실증적 속도 향상을 달성한다.

제안 방법

• 주어진 데이터의 경험적 상관계수 행렬 $ C = \frac{1}{n}\sum_{i=1}^n x_i x_i^T $ 에 대해 주어진 주요 고유모드에 집중하기 위해 무작위 블록 랑츠 방법을 사용하여 저랭크 근사를 계산한다.
• 특히 $ k \ll d $ 인 경우, $ C + \lambda I $ 의 저랭크 근사를 통해 조건부 $ P $ 를 구성하며, $ P \approx \sum_{i=1}^k \lambda_i u_i u_i^T + \lambda I $ 로 표현한다.
• 원래의 랏지 회귀 문제를 효과적인 조건수를 개선한 조건부 형태로 변환하기 위해 변환 $ \tilde{w} = P^{1/2} w $ 를 적용한다.
• SVRG 알고리즘에 이 조건부를 통합함으로써, 효과적인 평균 조건수 $ \tilde{\kappa} $ 를 감소시켜 더 빠른 수렴을 가능하게 한다.
• 스케칭 기반 접근법을 통해 $ O(ndk\log n) $ 시간 내에 조건부를 계산함으로써, 큰 $ n $ 과 $ d $ 에도 스케일이 가능하게 한다.
• 수렴 보장을 갖는 스트로스틱 최적화 프레임워크에 조건부 SVRG를 통합하여, $ \epsilon $-정확도를 확보하기 위한 $ \tilde{O}((\tilde{\kappa} + n)d\log(1/\epsilon)) $ 런타임을 달성한다.

실험 결과

연구 질문

• RQ1 주도적인 데이터 방향에 기반한 조건부는 계산 비용이 높지 않으면서도 랏지 회귀 문제에서 효과적인 조건수를 상당히 감소시킬 수 있는가?
• RQ2 스케치된 조건부 SVRG의 성능은 표준 SVRG 및 기타 빠른 스위치 최적화 방법에 비해 수렴 속도와 확장성 측면에서 어떻게 비교되는가?
• RQ3 상관계수 행렬의 저랭크 스케칭을 조건부로 사용할 경우 수렴 속도에 이론적·실증적으로 어떤 영향을 미치는가?
• RQ4 어떤 설정(예: 스펙트럼 감쇠 패턴)에서 제안된 조건부 방법이 가장 큰 속도 향상을 제공하는가?
• RQ5 고차원, 조건수가 나쁜 문제에서 조건수를 감소시키는 동시에 수렴 보장을 유지하는가?

주요 결과

• 제안된 스케치된 조건부 SVRG는 표준 SVRG 대비 이론적 속도 향상 비율 $ \frac{\sum_{i=1}^d \lambda_i}{k\lambda_k + \sum_{i>k}\lambda_i} $ 을 달성하며, 스펙트럼이 급격히 감쇠할 경우 매우 큰 비율이 될 수 있다.
• 가속화된 SVRG의 경우 속도 향상 비율은 $ \sqrt{\sum_{i=1}^d \lambda_i / (k\lambda_k + \sum_{i>k}\lambda_i)} $ 로 변형되어 유리한 스펙트럼 환경에서 성능 향상을 더욱 극대화한다.
• MNIST, CIFAR-10, RCV1, real-sim 데이터셋에 대한 실증 결과는, 조건부가 매우 작은 $ k=30 $ 인 경우에도 표준 SVRG보다 수렴 속도가 상당히 빠르다는 것을 보여준다. 이는 최소한의 정규화($ \lambda = 10^{-8} $) 조건에서도 성립한다.
• 그림 2의 수렴 곡선은 모든 데이터셋에서 더 적은 에포크 수 내에 더 낮은 하위최적화 수준에 도달함으로써 이론적 속도 향상을 확인한다.
• MNIST 및 CIFAR-10와 같은 데이터셋에서 속도 향상이 가장 두드러지며, 그림 1에서 작은 $ k $ 에서 비율이 급격히 증가함으로써 스펙트럼 감쇠에 대한 강한 의존성을 보여준다.
• 작은 $ k $ 에서 사전 처리 비용은 무시할 수 있을 정도이며, 이로 인해 대규모 머신러닝 응용 분야에서 실용적인 확장성이 유지된다.