[논문 리뷰] Subsampling Algorithms for Semidefinite Programming

Alexandre d’Aspremont|HAL (Le Centre pour la Communication Scientifique Directe)|2008. 03. 13.

Stochastic Gradient Optimization Techniques참고 문헌 49인용 수 4

한 줄 요약

이 논문은 반복 계산 비용을 크게 줄이면서도 수렴성을 유지하는, 반정형계획법(semidefinite programming)를 위한 확률적 경사하강 알고리즘을 제안한다. 하향 샘플링 비율을 조절함으로써 반복당 비용과 총 반복 수 사이의 균형을 이루며, 총 계산 복잡도는 해의 수치적 질량 수치에 비례하여, 통계학적 학습에서의 대규모 문제를 효율적으로 해결할 수 있게 한다.

ABSTRACT

We derive a stochastic gradient algorithm for semidefinite optimization using randomization techniques. The algorithm uses subsampling to reduce the computational cost of each iteration and the subsampling ratio explicitly controls granularity, i.e. the tradeoff between cost per iteration and total number of iterations. Furthermore, the total computational cost is directly proportional to the complexity (i.e. rank) of the solution. We study numerical performance on some large-scale problems arising in statistical learning.

연구 동기 및 목표

• 높은 반복당 비용과 메모리 대역폭 제약으로 인해 내부점수법(Interior-point methods)이 매우 큰 반정형계획 문제에 대해 비가능해지는 문제를 해결하기 위해.
• 랜덤화와 하향 샘플링 기법을 활용하여 일阶 solvers의 계산 분할(granularity)을 줄이기 위해.
• 반복당 비용을 크게 낮추면서도 수렴성을 유지하는 확률적 근사 알고리즘을 개발하기 위해.
• 총 계산 복잡도를 해의 수치적 질량 수치에 명시적으로 연결함으로써, 저질량 문제에 대한 효율적 계산을 가능하게 하기 위해.

제안 방법

• 알고리즘은 스펙트럴 노름 최소화 문제에서 행렬 계수의 무작위 하향 샘플링을 사용하여 기울기를 근사한다.
• 하향 샘플링이 반복 비용과 총 반복 수 사이의 상충관계를 제어하는 미러 강하(stochastic approximation) 프레임워크를 적용한다.
• 스펙트럴 노름을 일부 행렬 원소를 사용해 근사할 때의 오차를 제한하기 위해 랜덤라이즈드 선형대수 결과에 기반한다.
• 행렬 원소에 대해 확률 p로 독립적으로 하향 샘플링을 적용하며, 특정 조건 하에서 높은 확률로 스펙트럴 노름 근사가 가능하다.
• 행렬-벡터 곱산이 필요한 경우, 랭체즈 기반 방법을 사용해 주요 리츠 쌍(leading Ritz pairs)을 효율적으로 계산한다.
• 모든 연산이 캐시 우수한 구조이며, 각 단계에서 고정된 소수의 행렬 원소만을 다루도록 하여 반복의 복잡도를 낮춘다.

실험 결과

연구 질문

• RQ1 하향 샘플링 기법을 사용하여 일阶 반정형계획법 솔버의 반복당 비용을 낮출 수 있는가, 이때 수렴성은 유지되는가?
• RQ2 하향 샘플링 비율이 반복당 비용과 총 반복 수 사이의 상충관계에 어떻게 영향을 미치는가?
• RQ3 알고리즘의 총 계산 복잡도가 해의 수치적 질량 수치에 얼마나 의존하는가?
• RQ4 랜덤라이즈드 행렬 근사 결과를 반정형계획법을 위한 확률적 경사하강 방법에 효과적으로 통합할 수 있는가?

주요 결과

• 알고리즘의 총 계산 비용은 해의 수치적 질량 수치에 비례하므로, 저질량 문제에 대해 효율적이다.
• 행렬 크기가 $ n \times n $일 경우, 알고리즘의 복잡도는 $ O(n \log n / \epsilon^2) $이며, $ n \to \infty $일 때 접근 가능한 원소 비율이 무시할 만큼 작다.
• 높은 확률로 스펙트럴 노름 근사 오차는 $ \|X - S\|_2 \leq 4\|X\|_\infty \sqrt{n/p} $로 유계이며, $ p \geq (8\log n)^4 / n $ 조건을 만족할 경우에 성립한다.
• 알고리즘의 성능은 시계열보다는 메모리 대역폭에 의해 더 제약을 받으며, 저비용이고 캐시 우수한 반복이 확장성 확보에 핵심적이다.
• 랜치즈 절차에서 무작위 초기 벡터를 사용할 경우, 리츠 벡터의 수렴성이 높은 확률로 보장되며, $ \epsilon $-상대 정밀도를 확보하기 위해 $ k^{\text{Lan}} \leq \frac{\log(n/\delta^2)}{4\sqrt{\epsilon}} $회의 반복이 필요하다.
• 고비용의 두 번째 차수 계산을 피하고 많은 저비용 반복을 가능하게 하여, 기존의 내부점수법보다 대규모 문제에서 더 뛰어난 성능을 발휘한다.