[논문 리뷰] Faster Principal Component Regression via Optimal Polynomial Approximation to sgn(x).

Zeyuan Allen Zhu, Yuanzhi Li|arXiv (Cornell University)|2016. 08. 16.

Stochastic Gradient Optimization Techniques참고 문헌 16인용 수 5

한 줄 요약

이 논문은 상위 주성분 부분공간에 벡터를 투영하기 위해 부호 함수의 최적 다항근사법을 사용하여 주성분 회귀(PCR)에 대한 더 빠른 알고리즘을 제안한다. 기존의 블랙박스 리지 회귀 호출 횟수를 Õ(γ⁻²)에서 Õ(γ⁻¹)으로 줄여, 고차원 PCR에서 명시적인 고유벡터 계산 없이도 개선된 효율성을 달성한다.

ABSTRACT

We solve principle component regression (PCR) by providing an efficient algorithm to project any vector onto the subspace formed by the top principle components of a matrix. Our algorithm does not require any explicit construction of the top principle components, and therefore is suitable for large-scale PCR instances. Specifically, to project onto the subspace formed by principle components with eigenvalues above a threshold $\lambda$ and with a multiplicative accuracy $(1\pm \gamma) \lambda$, our algorithm requires $ ilde{O}(\gamma^{-1})$ black-box calls of ridge regression. In contrast, previous result requires $ ilde{O}(\gamma^{-2})$ such calls. We obtain this result by designing a degree-optimal polynomial approximation of the sign function.

연구 동기 및 목표

• 상위 주성분을 근사하기 위해 많은 리지 회귀 호출이 필요한 기존 PCR 방법의 계산 비효율성을 해결하기 위해.
• 고유벡터를 명시적으로 계산하거나 저장하지 않고도 상위 주성분 부분공간에 투영할 수 있는 방법을 개발하기 위해.
• 희망 정확도 매개변수 γ의 관점에서 증명 가능한 더 빠른 수렴 속도를 달성하기 위해.
• 차수 최적의 부호 함수 근사법을 설계하여 효율적인 계산을 가능하게 하기 위해.

제안 방법

• 상위 고유공간에 투영하는 데 핵심적인 역할을 하는 부호 함수 sgn(x)에 대해 차수 최적의 다항근사법을 사용한다.
• 임계값 λ 이상의 고유값에 대해 (1±γ)λ 정확도로 sgn(x)를 근사할 수 있는 다항식을 구성한다.
• 반복적인 리지 회귀 연산을 통해 행렬에 다항근사법을 적용한다.
• 다항식의 차수 최적성 덕분에 필요한 리지 회귀 호출 횟수를 Õ(γ⁻²)에서 Õ(γ⁻¹)으로 줄인다.
• 다항근사법을 사용해 명시적인 고유분해 없이도 어떤 벡터라도 상위 주성분 부분공간에 암묵적으로 투영한다.
• 리지 회귀 오라클에만 접근 가능하도록 하여 블랙박스 성격을 유지한다.

실험 결과

연구 질문

• RQ1 기존 방법의 Õ(γ⁻²) 경계를 하회하는 리지 회귀 호출 횟수를 PCR에 대해 줄일 수 있는가?
• RQ2 임계값 λ 이상의 고유값에 대해 (1±γ)λ 정확도를 달성하는 데 필요한 부호 함수 sgn(x)의 최소 차수 다항근사는 무엇인가?
• RQ3 이러한 최적 다항근사법을 블랙박스 방식으로 효율적으로 적용해 상위 주성분 부분공간에 대한 투영을 계산할 수 있는가?
• RQ4 이러한 방법은 고차원 환경에서 계산 비용을 크게 줄이면서도 정확도를 유지하는가?
• RQ5 sgn(x)에 대한 다항근사법을 사용함으로써 전통적인 반복적 방법에 비해 PCR에서 더 빠른 수렴을 어떻게 달성하는가?

주요 결과

• 제안된 알고리즘은 필요한 리지 회귀 호출 횟수를 Õ(γ⁻²)에서 Õ(γ⁻¹)으로 줄여 정확도 매개변수 γ에 대해 제곱근 수준의 속도 향상을 달성한다.
• 고유값이 임계값 λ 이상인 경우, 주성분을 명시적으로 계산하거나 저장하지 않더라도 (1±γ)λ 정확도로 투영을 달성한다.
• 차수 최적의 sgn(x) 다항근사법은 최소한의 계산 오버헤드를 보장하고 반복 횟수 측면에서 이론적으로 최적이다.
• 알고리즘은 블랙박스이므로 리지 회귀 오라클에만 접근하면 되며, 고차원 및 분산 환경에 적합하다.
• 비용이 많이 드는 고유분해 단계를 피하기 때문에 이 방법은 효율적인 고차원 PCR을 가능하게 한다.
• 이론적 분석을 통해 필요한 리지 회귀 호출 수 측면에서 이 방법이 최적임을 확인한다.