[논문 리뷰] Gradient Projection Iterative Sketch for Large-Scale Constrained Least-Squares

Junqi Tang, Mohammad Golbabaee외 1명|arXiv (Cornell University)|2016. 09. 29.

Sparse and Compressive Sensing Techniques참고 문헌 22인용 수 13

한 줄 요약

이 논문은 대규모 제약 조건이 있는 최소 제곱 문제를 효율적으로 해결하기 위해 스케칭을 활용하는 일阶 랜덤화 알고리즘인 Gradient Projection Iterative Sketch (GPIS) 및 그 가속 버전인 Acc-GPIS를 제안한다. 이 방법은 결정론적 스케칭과 선형 탐색을 통한 스텝 크기 선택을 조합함으로써 벽시계 시간 성능을 크게 향상시켜, SAGA와 같은 확률적 경사 하강법 및 전체 경사 하강법보다도 속도와 계산 효율성 면에서 뛰어난 성능을 보인다. 이는 시뮬레이션 및 실제 데이터 세트에서 입증되었다.

ABSTRACT

We propose a randomized first order optimization algorithm Gradient Projection Iterative Sketch (GPIS) and an accelerated variant for efficiently solving large scale constrained Least Squares (LS). We provide theoretical convergence analysis for both proposed algorithms and demonstrate our methods' computational efficiency compared to classical accelerated gradient method, and the state of the art variance-reduced stochastic gradient methods through numerical experiments in various large synthetic/real data sets.

연구 동기 및 목표

• 기계 학습 및 신호 처리 분야에서 대규모 제약 조건이 있는 최소 제곱 문제를 해결하는 데 발생하는 계산적 병목 현상을 해결한다.
• 특히 자주 발생하는 데이터 접근과 비용이 큰 투영 연산으로 인해 벽시계 시간이 길어지는 확률적 경사 하강법의 한계를 극복한다.
• 문제 차원을 감소시키면서도 해의 정확도를 유지하는 스케칭을 활용한 일阶 최적화 프레임워크를 개발한다.
• 스케칭 프레임워크 내에서 스케칭된 하위문제를 정확히 해결하지 않고도 수렴하는 일阶 방법에 대한 최초의 이론적 수렴 분석을 제공한다.
• 제약 조건 집합의 구조를 활용하여 내부 및 외부 루프 양쪽에서 수렴 속도를 가속화할 수 있음을 보여준다.

제안 방법

• 기존의 스케칭(Pilanci & Wainwright, 2015)과 반복 헤시안 스케칭(Pilanci & Wainwright, 2016)을 조합한 첫 번째 알고리즘인 GPIS를 제안하여 제약 조건이 있는 최소 제곱 문제를 해결한다.
• 수렴 속도를 향상시키기 위해 네스테로프의 가속화 기법을 적용하여 가속 버전인 Acc-GPIS를 도입한다.
• 내부 루프에서 근사 최적 스텝 크기를 선택하기 위해 맞춤형 선형 탐색 기법을 사용하며, 결정론적 반복을 통해 계산 효율성을 높인다.
• 원래의 대규모 문제를 저차원 공간으로 투영하기 위해 Count-Sketch 및 가우시안 스케칭과 같은 스케칭 행렬을 사용한다.
• 스케칭된 공간 내에서 경사 하강 투영 단계를 적용하여 반복값이 제약 조건 집합(예: l1-구, 노름, 낮은 질서 제약) 내에 유지되도록 보장한다.
• 계산 비용을 줄이고 이론적 보장 조건을 유지하기 위해 Count-Sketch와 FJLT를 활용한 효율적인 스케칭을 구현한다.

실험 결과

연구 질문

• RQ1 투영 연산이 비용이 많이 드는 상황에서, SAGA와 같은 확률적 경사 하강법보다 스케칭 기반 일阶 방법이 더 빠른 벽시계 시간 성능을 달성할 수 있는가?
• RQ2 스케칭 기반 반복 알고리즘의 외부 루프에서 제약 조건 집합의 구조가 수렴 속도에 어떤 영향을 미치는가?
• RQ3 스케칭된 하위문제를 정확히 해결하는 대신 근사적으로 해결할 경우, GPIS와 Acc-GPIS의 이론적 수렴 행동은 어떻게 되는가?
• RQ4 결정론적 반복 덕분에 스케칭 기반 일阶 방법에서 극단적인 선형 탐색을 얼마나 효과적으로 적용할 수 있는가?
• RQ5 스케칭 행렬의 선택(예: Count-Sketch 대비 가우시안)이 대규모 제약 조건이 있는 최소 제곱 문제의 성능과 안정성에 어떤 영향을 미치는가?

주요 결과

• 모든 테스트 데이터 세트(시뮬레이션 및 실제 데이터 포함)에서 SAGA 및 가속화된 전체 경사 하강법보다 GPIS와 Acc-GPIS가 뛰어난 벽시계 시간 성능을 보였다.
• 500k × 90 크기의 Million-song Year Prediction 데이터 세트에서 GPIS는 배치 크기가 10인 SAGA보다도 벽시계 시간에서 승리했다. 이는 SAGA가 에포크 수에서 경쟁력이 있었음에도 불구하고 성립한다.
• 핵심 노름 제약 조건이 있는 경우(Syn3에서와 같이), SAGA의 작은 배치 크기 설정은 반복 횟수가 많고 투영 호출 빈도가 높아져 계산 비용이 급격히 증가하여 상당히 느려졌다.
• 투영 연산 비용이 높은 환경에서는 전체 경사 하강법이 더 경쟁력 있는 성능을 보였지만, 오차가 감소할수록 스케칭된 경사 하강 방법 역시 여전히 계산상의 이점을 유지했다.
• 결정론적 반복 덕분에 효과적인 선형 탐색이 가능해져 근사 최적 스텝 크기를 확보하고, 작은 미니배치 데이터 접근에 의존하는 것을 줄여 현대의 벡터화 하드웨어에서 성능 향상을 이끌어냈다.
• 이론적 분석을 통해 가우시안 스케칭 조건 하에서 고확률 수렴이 보장되었으며, 외부 루프의 수렴 속도는 제약 조건 집합의 구조에 의해 긍정적으로 영향을 받는다.