[논문 리뷰] Stochastic Conditional Gradient++

Hamed Hassani, Amin Karbasi외 2명|arXiv (Cornell University)|2019. 02. 19.

Stochastic Gradient Optimization Techniques참고 문헌 74인용 수 14

한 줄 요약

이 논문은 비순응(stochastic) 최적화를 위한 새로운 분산 감소 기법인 Stochastic Conditional Gradient++ (SFW++)를 소개한다. 이는 비볼로지스틱(non-convex) 및 볼로지스틱(convex) 함수의 효율적 최소화와 연속적인 DR-하위모듈러스 함수의 최대화를 가능하게 하며, 볼로지스틱 최소화 및 하위모듈러스 최대화에서 $O(1/\theta^2)$의 최적 수렴 속도를 달성한다. 또한 $(1-1/e)$-근사 보장이 엄밀하게 유지되며, 정보 이론적 추론을 통해 수렴 속도의 최적성도 입증한다.

ABSTRACT

In this paper, we consider the general non-oblivious stochastic optimization where the underlying stochasticity may change during the optimization procedure and depends on the point at which the function is evaluated. We develop Stochastic Frank-Wolfe++ ($ ext{SFW}{++} $), an efficient variant of the conditional gradient method for minimizing a smooth non-convex function subject to a convex body constraint. We show that $ ext{SFW}{++} $ converges to an $ε$-first order stationary point by using $O(1/ε^3)$ stochastic gradients. Once further structures are present, $ ext{SFW}{++}$'s theoretical guarantees, in terms of the convergence rate and quality of its solution, improve. In particular, for minimizing a convex function, $ ext{SFW}{++} $ achieves an $ε$-approximate optimum while using $O(1/ε^2)$ stochastic gradients. It is known that this rate is optimal in terms of stochastic gradient evaluations. Similarly, for maximizing a monotone continuous DR-submodular function, a slightly different form of $ ext{SFW}{++} $, called Stochastic Continuous Greedy++ ($ ext{SCG}{++} $), achieves a tight $[(1-1/e) ext{OPT} -ε]$ solution while using $O(1/ε^2)$ stochastic gradients. Through an information theoretic argument, we also prove that $ ext{SCG}{++} $'s convergence rate is optimal. Finally, for maximizing a non-monotone continuous DR-submodular function, we can achieve a $[(1/e) ext{OPT} -ε]$ solution by using $O(1/ε^2)$ stochastic gradients. We should highlight that our results and our novel variance reduction technique trivially extend to the standard and easier oblivious stochastic optimization settings for (non-)covex and continuous submodular settings.

연구 동기 및 목표

• 목적 함수의 난수성(stochasticity)이 결정 변수에 의존하는 비순응(stochastic) 최적화 문제에 도전하며, 이는 기존의 분산 감소 기법이 무효화되는 설정이다.
• 현재 반복값에 따라 분포가 달라지는 경우에도 편향 없이 그라디언트 차이를 추정할 수 있는 새로운 분산 감소 메커니즘을 개발한다.
• 비볼로지스틱 최소화 및 연속적인 하위모듈러스 최대화에 대해 비순응(stochastic) 설정 하에서 최적의 수렴 속도를 달성한다.
• 최소한의 난수 그라디언트 호출로 고품질의 해(예: 단조 DR-하위모듈러스 최대화에서 $(1-1/e)$-근사)로의 수렴 보장을 이론적으로 제공한다.
• 연속적인 하위모듈러스 최대화에서 Stochastic Continuous Greedy++ (SCG++) 알고리즘의 수렴 속도가 정보 이론적으로 최적임을 입증한다.

제안 방법

• 현재 결정 변수에 따라 난수 함수의 분포가 달라지는 비순응(stochastic) 최적화에 특화된 Frank-Wolfe 방법의 변종인 Stochastic Conditional Gradient++ (SFW++)를 제안한다.
• 문제의 구조적 특성을 활용하여, 분포가 점에 따라 달라지는 경우에도 단일 샘플을 사용해 두 점의 그라디언트 차이를 추정할 수 있는 새로운 분산 감소 기법을 도입한다.
• 두 수준의 샘플링 기법을 사용: 하나는 그라디언트 추정을 위해, 다른 하나는 그라디언트 차이 추정을 위해. 이는 난수 업데이트에서 낮은 편향과 통제된 분산을 보장한다.
• 가능한 볼록 영역 내에 반복값을 유지하기 위해 선형 검색을 포함한 Frank-Wolfe 업데이트 규칙을 활용하며, 분산 감소 그라디언트 추정치를 통합해 수렴을 향상시킨다.
• 연속적인 DR-하위모듈러스 최대화를 위한 특수한 변형인 Stochastic Continuous Greedy++ (SCG++)를 설계하였으며, 정규화된 방향과 신중하게 조정된 스텝 크기를 사용해 고정밀 근사 보장을 달성한다.
• 마팅갈 농도와 가능 영역의 강한 볼로지스틱 유사 성질을 이용해 수렴 경계를 증명함으로써, 비최적성과 수렴 속도에 대한 날카운 경계를 이끌어낸다.

실험 결과

연구 질문

• RQ1 현재 결정 변수에 따라 분포가 달라지는 비순응(stochastic) 최적화에 대해, 분산 감소 기법을 설계할 수 있는가?
• RQ2 비순응 설정 하에서 비볼로지스틱 및 볼로지스틱 최소화에 대해 스토하스틱 1차 방법의 최적 수렴 속도는 무엇인가?
• RQ3 Stochastic Conditional Gradient++ 알고리즘이 최적의 샘플 복잡도를 갖는다 하더라도, 단조 연속적인 DR-하위모듈러스 최대화에서 $(1-1/e)$-근사 해를 달성할 수 있는가?
• RQ4 비순응 설정 하에서 하위모듈러스 최대화에 대해 $O(1/\theta^2)$ 수렴 속도가 정보 이론적으로 최적인가?
• RQ5 제안된 방법은 볼로지스틱 제약 조건이 있는 강화 학습 정책 그라디언트 문제에 적용 가능하며, 최적의 궤적 복잡도를 달성할 수 있는가?

주요 결과

• 비볼로지스틱 최소화에 대해 SFW++는 비볼로지스틱 최적점에 도달하기 위해 $O(1/\epsilon^3)$개의 난수 그라디언트 평가를 수행하며, 이는 이전의 $O(1/\epsilon^4)$ 속도보다 향상된 것이다.
• 볼로지스틱 최소화에 대해 SFW++는 오직 $O(1/\epsilon^2)$개의 난수 그라디언트로 $\epsilon$-최적 해를 달성하며, 이는 정보 이론적으로 최적의 속도와 일치한다.
• 단조 연속적인 DR-하위모듈러스 최대화에 대해 SCG++는 $O(1/\epsilon^2)$개의 난수 그라디언트로 $[(1-1/e)\text{OPT} - \epsilon]$ 해를 달성하며, 엄밀한 근사 보장을 제공한다.
• SCG++의 수렴 속도는 정보 이론적으로 최적임이 입증되었으며, 베르누이 확률 추정의 딱딱한 난이도 또는 어려운 하위모듈러스 최대화 문제로의 환원을 통해 증명되었다.
• 비단조 연속적인 DR-하위모듈러스 최대화에 대해 알고리즘은 $O(1/\epsilon^2)$개의 난수 그라디언트로 $[(1/e)\text{OPT} - \epsilon]$ 해를 달성한다.
• 부산물로, SFW++는 비순응 설정 하에서 볼로지스틱 제약 조건이 있는 강화 학습 정책 그라디언트 문제에 대해 $O(1/\epsilon^3)$의 최초 궤적 복잡도를 제공한다.