[논문 리뷰] Optimal Convergence for Stochastic Optimization with Multiple Expectation Constraints

Kinjal Basu, Preetam Nandy|arXiv (Cornell University)|2019. 06. 08.

Stochastic Gradient Optimization Techniques참고 문헌 20인용 수 6

한 줄 요약

이 논문은 일반적인 볼록 목표 함수와 제약 조건을 다룰 수 있도록 이전 연구를 확장하여, 다중 기대값 제약 조건을 가진 스토하스틱 최적화를 위한 다중 협동 스토하스틱 근사(MCSA) 알고리즘을 제안한다. 이 알고리즘은 최적성 갭과 제약 위반에 대해 모두 최적의 $Ø(1/\sqrt{N})$ 수렴 속도를 확립하며, 이전 분석에서의 이론적 격차를 메우고 시뮬레이션에서 최신 기법들보다 뛰어난 경험적 성능을 보여준다.

ABSTRACT

In this paper, we focus on the problem of stochastic optimization where the objective function can be written as an expectation function over a closed convex set. We also consider multiple expectation constraints which restrict the domain of the problem. We extend the cooperative stochastic approximation algorithm from Lan and Zhou [2016] to solve the particular problem. We close the gaps in the previous analysis and provide a novel proof technique to show that our algorithm attains the optimal rate of convergence for both optimality gap and constraint violation when the functions are generally convex. We also compare our algorithm empirically to the state-of-the-art and show improved convergence in many situations.

연구 동기 및 목표

• 대규모 온라인 플랫폼에서 발생하는 다중 기대값 제약 조건을 가진 스토하스틱 최적화 문제를 다루기 위해.
• 기존에 단일 제약 조건에 국한된 협동 스토하스틱 근사(CSA) 알고리즘을 다중 제약 조건을 처리할 수 있도록 확장하기 위해.
• 이전 CSA 방법의 수렴 분석에서 존재하는 이론적 격차를 보완하고 새로운 증명 기법을 제시하기 위해.
• 일반적인 볼록성 가정 하에 최적성 갭과 제약 위반에 대해 최적의 수렴 속도를 확립하기 위해.
• 모의 환경에서 최신 기법들과의 경험적 성능을 검증하기 위해.

제안 방법

• 기대값 제약 조건으로 정의된 탇합 영역 내에 반복값이 유지되도록 1-강하게 볼록 함수를 기반으로 한 프락시멀 투영을 사용하는 다중 협동 스토하스틱 근사(MCSA) 알고리즘을 제안한다.
• 각 반복 단계에서 모든 제약 조건이 만족될 경우 목적 함수의 기울기 방향을 선택하고, 그렇지 않으면 가장 위반 정도가 심한 제약 조건을 기반으로 하위기울기 방향을 선택한다.
• 베그만 발산 기반의 투영을 사용하여 기대값 제약 조건으로 정의된 타당 영역 내에 반복값이 유지되도록 보장한다.
• 제약 위반을 관리하기 위해 $\eta_{j,t}$라는 허용 오차 시퀀스를 사용하여 타당성의 점진적 완화를 허용한다.
• 스토하스틱 기울기의 누적 평균을 사용해 제약 함수의 추정치를 갱신하는 재귀적 평균 기법을 적용한 온라인 버전인 MCSA-online을 도입한다.
• 기존 CSA 알고리즘 분석에서 존재하는 격차를 극복하기 위해 수렴성을 보장하는 데 새로운 증명 기법을 적용한다.

실험 결과

연구 질문

• RQ1 협동 스토하스틱 근사 프레임워크는 다중 기대값 제약 조건을 다룰 수 있도록 확장될 수 있으며, 이때 최적의 수렴 속도를 유지할 수 있는가?
• RQ2 기존 CSA 알고리즘의 수렴 증명에서 존재하는 이론적 격차는 무엇이며, 이를 엄밀하게 보완할 수 있는가?
• RQ3 일반적인 볼록 스토하스틱 프로그래밍 문제에 대해 다중 제약 조건이 존재할 때, 최적성 갭과 제약 위반에 대해 $\mathcal{O}(1/\sqrt{N})$ 수렴 속도가 최적인가?
• RQ4 소음 수준이 다양할 때, 제안된 MCSA 알고리즘은 Yu 등(2017)과 같은 최신 기법들과 비교해 수렴 속도와 강건성 면에서 어떻게 성능을 내는가?
• RQ5 이론적 보장을 유지하면서도 온라인 설정에 적응할 수 있도록 알고리즘을 변형할 수 있는가?

주요 결과

• 일반적인 볼록성 가정 하에 MCSA 알고리즘은 기대 최적성 갭과 제약 위반에 대해 최적의 $\mathcal{O}(1/\sqrt{N})$ 수렴 속도를 달성한다.
• 기존 CSA 알고리즘의 이론적 분석에서 존재하던 중대한 격차를 메우며, 새로운 엄밀한 증명 기법을 제공한다.
• 모의 데이터에 대한 경험적 결과는 MCSA와 그 온라인 버전이 Yu 등(2017)의 최신 기법을 뛰어넘는 것으로 나타났으며, 특히 신호 대 잡음 비율이 낮은 환경에서 두드러진 성능을 보였다.
• MCSA-online 버전은 이전 관측치를 기반으로 스토하스틱 기울기 추정치를 재귀적으로 갱신함으로써 온라인 학습에 알고리즘을 성공적으로 적응시켰다.
• 고분산 및 어려운 타당 영역 설정에서 MCSA 알고리즘은 기준 방법들에 비해 뛰어난 강건성과 더 빠른 수렴 속도를 보였다.
• 결과는 이론적 수렴 속도가 뿐만 아니라 도전적인 스토하스틱 환경에서 실질적으로 유리한 성능을 낼 수 있음을 확인시켰다.