[논문 리뷰] Almost surely constrained convex optimization

Olivier Fercoq, Ahmet Alacaoglu외 2명|arXiv (Cornell University)|2019. 01. 31.

Stochastic Gradient Optimization Techniques참고 문헌 30인용 수 11

한 줄 요약

이 논문은 거의 확실히 만족되어야 하는 무한한 선형 포함 제약 조건을 가진 볼록 최적화 문제를 해결하기 위해 확률적 경사하강법 SASC를 제안한다. 네스테로프의 스무딩 및 호모토피 기법을 활용하여 SASC는 비용이 많이 드는 행렬 값의 사영을 피하고 일반 및 제약 강한 볼록 목적 함수에 대해 각각 최적의 $Ø(\log(k)/\sqrt{k})$ 및 $\u00d8(\log(k)/k)$ 수렴 속도를 달성하며, 정규화 파라미터 조정이 필요로 하지 않는다.

ABSTRACT

We propose a stochastic gradient framework for solving stochastic composite convex optimization problems with (possibly) infinite number of linear inclusion constraints that need to be satisfied almost surely. We use smoothing and homotopy techniques to handle constraints without the need for matrix-valued projections. We show for our stochastic gradient algorithm $\mathcal{O}(\log(k)/\sqrt{k})$ convergence rate for general convex objectives and $\mathcal{O}(\log(k)/k)$ convergence rate for restricted strongly convex objectives. These rates are known to be optimal up to logarithmic factors, even without constraints. We demonstrate the performance of our algorithm with numerical experiments on basis pursuit, a hard margin support vector machines and a portfolio optimization and show that our algorithm achieves state-of-the-art practical performance.

연구 동기 및 목표

• 거의 확실히 만족되어야 하는 무한한 선형 제약 조건을 가진 확률적 볼록 최적화 문제를 다루기.
• 고차원 설정에서 계산적으로 금기인 행렬 값의 사영을 포함한 확률적 제약 조건 처리에서의 필요성을 제거하기.
• 기존 방법에서 흔히 볼 수 있는 정규화 파라미터의 히ュ리스틱 조정이 필요 없는 파라미터 없는 알고리즘을 개발하기.
• 거의 확실히 제약 조건이 있는 일반 및 제약 강한 볼록 목적 함수에 대해 최적의 수렴 속도를 확립하기.
• 포트폴리오 최적화 및 하드 마진 서포트 벡터 머신과 같은 실제 문제들에서의 실용적 우수성을 입증하기.

제안 방법

• 알고리즘은 거의 확실히 제약 조건을 다루기 위해 네스테로프의 스무딩 기법을 사용하여 제약 조건이 있는 문제를 부드러운 근사로 변환한다.
• 호모토피 연속 기법을 적용하여 점차 스무딩 파라미터를 정밀화함으로써 진짜 해로 수렴하도록 한다.
• 기대 목적 함수 $F(x) = \mathbb{E}_\xi[f(x,\xi)]$ 의 확률적 경사도를 사용하고, 비부드러운 항 $h(x)$ 에 대해 프록시 연산자를 결합한다.
• 행렬 값의 제약 조건 집합에 대한 비용이 많이 드는 사영을 피하기 위해 랜덤 집합 $b(\xi)$ 에 대한 사영만 필요로 한다.
• 이론적 분석에 기반한 단계 크기 규칙을 유도하여 사용자 조정 없이 수렴을 보장한다.
• 프레임워크는 리프슈츠 연속성과 지표 함수를 가진 복합 문제로 일반화될 수 있다.

실험 결과

연구 질문

• RQ1 무한한 선형 제약 조건이 거의 확실히 만족되어야 하는 경우, 행렬 값의 사영 없이도 거의 확실히 제약 조건을 다룰 수 있는 확률적 1차 방법을 설계할 수 있는가?
• RQ2 이러한 문제들에 대해 달성할 수 있는 수렴 속도는 무엇이며, 로그 인자까지 최적인가?
• RQ3 이 방법을 정규화 파라미터 조정이 필요 없는 파라미터 없는 것으로 만들 수 있는가? 특히 SVM 및 포트폴리오 최적화 응용 분야에서의 필요성을 고려하여.
• RQ4 기존의 사영 기반 또는 정규화 기반 접근법과 비교하여 제안된 방법의 성능은 실제로 어떻게 되는가?
• RQ5 스무딩 및 호모토피 기법은 거의 확실히 제약 조건이 있는 확률적 최적화에 효과적으로 확장될 수 있는가?

주요 결과

• 제안된 SASC 알고리즘은 일반 볼록 목적 함수에 대해 $\tilde{\mathcal{O}}(\log(k)/\sqrt{k})$ 의 수렴 속도를 달성하며, 이는 비제약 설정에서 알려진 최고 수준의 속도와 일치한다.
• 제약 강한 볼록 목적 함수의 경우 SASC는 $\tilde{\mathcal{O}}(\log(k)/k)$ 의 수렴 속도를 달성하며, 이는 로그 인자까지 최적이다.
• 베이시스 퍼즈추, 하드 마진 SVM, 포트폴리오 최적화에 대한 수치 실험 결과 SASC는 정규화 파라미터 조정 없이도 최첨단 방법을 능가하거나 동등하게 성능을 내며 성능을 발휘한다.
• 포트폴리오 최적화에서 SASC는 SPP와 달리 반복 수렴 거리가 안정적으로 감소하는 경향을 보이며, 큰 단계 크기에서는 정체 현상이 발생하거나 작은 단계 크기에서는 느린 수렴을 겪는 문제를 피한다.
• SVM 작업에서 SASC는 다양한 정규화 파라미터 설정에서도 Pegasos와 유사한 성능을 달성하지만, 파라미터 조정이 필요로 하지 않는다.
• 알고리즘은 적응형 정규화를 사용하는 소프트 마진 문제의 일련의 해를 풀어 직접 하드 마진 SVM 문제를 해결함으로써 고정된 $C$ 가 필요 없이 성공적으로 문제를 해결한다.