[논문 리뷰] Stochastic Conditional Gradient Methods: From Convex Minimization to Submodular Maximization

Aryan Mokhtari, Hamed Hassani외 1명|arXiv (Cornell University)|2018. 04. 24.

Stochastic Gradient Optimization Techniques인용 수 11

한 줄 요약

이 논문은 기울기 평균화와 선형 최소화를 결합하여 볼록 및 연속 하위모듈러 문제에 대해 효율적이고 투영 없는 최적화를 가능하게 하는 새로운 확률적 조건부 기울기 방법을 제안한다. 볼록 최소화 문제에 대해 최적의 O(1/t^{1/3}) 수렴 속도를 달성하고, 단조 연속 하위모듈러 최대화 문제에 대해 (1−1/e)OPT−ε 근사치를 O(1/ε³)의 확률적 기울기 평가 수로 달성하여 결정론적 및 확률적 하위모듈러 최적화 간 격차를 해소한다.

ABSTRACT

This paper considers stochastic optimization problems for a large class of objective functions, including convex and continuous submodular. Stochastic proximal gradient methods have been widely used to solve such problems; however, their applicability remains limited when the problem dimension is large and the projection onto a convex set is costly. Instead, stochastic conditional gradient methods are proposed as an alternative solution relying on (i) Approximating gradients via a simple averaging technique requiring a single stochastic gradient evaluation per iteration; (ii) Solving a linear program to compute the descent/ascent direction. The averaging technique reduces the noise of gradient approximations as time progresses, and replacing projection step in proximal methods by a linear program lowers the computational complexity of each iteration. We show that under convexity and smoothness assumptions, our proposed method converges to the optimal objective function value at a sublinear rate of $O(1/t^{1/3})$. Further, for a monotone and continuous DR-submodular function and subject to a general convex body constraint, we prove that our proposed method achieves a $((1-1/e)OPT-\\eps)$ guarantee with $O(1/\\eps^3)$ stochastic gradient computations. This guarantee matches the known hardness results and closes the gap between deterministic and stochastic continuous submodular maximization. Additionally, we obtain $((1/e)OPT -\\eps)$ guarantee after using $O(1/\\eps^3)$ stochastic gradients for the case that the objective function is continuous DR-submodular but non-monotone and the constraint set is down-closed. By using stochastic continuous optimization as an interface, we provide the first $(1-1/e)$ tight approximation guarantee for maximizing a monotone but stochastic submodular set function subject to a matroid constraint and $(1/e)$ approximation guarantee for the non-monotone case.

연구 동기 및 목표

• 대규모 문제에서 확률적 프록시멀 기울기 방법의 투영 단계로 인한 높은 계산 비용을 해결하기 위해.
• 비용이 많이 드는 투영을 피하면서도 수렴성을 유지하는 투영 없는 확률적 조건부 기울기 방법을 개발하기 위해.
• 결정론적 및 확률적 연속 하위모듈러 최대화 간 성능 격차를 좁혀 엄밀한 근사 보장을 달성하기 위해.
• 일반적인 매트로이드 제약 조건을 가진 집합 함수로의 확률적 연속 최적화를 확장하여, 단조 경우에 대해 (1−1/e) 근사치, 비단조 경우에 대해 (1/e) 근사치를 제공하기 위해.
• 부드러움, 볼록성, 하위모듈러성 가정 하에 이론적 수렴 속도와 근사 보장을 확립하기 위해.

제안 방법

• 각 반복에서 단일 확률적 기울기 평가를 기반으로 단순 평균화를 통해 기울기를 근사하여 시간이 지남에 따라 노이즈를 감소시킨다.
• 프록시멀 방법의 투영 단계를 선형 프로그래밍 하위문제로 대체하여 반복당 복잡도를 낮춘다.
• 수렴을 보장하기 위해 감소하는 단계 크기 T와 선 탐색 유사 업데이트 규칙을 사용한다.
• 제약 조건 집합 위에서 선형 최소화를 통해 곡률 기반 내림방향을 도입하여 업데이트를 이끌어낸다.
• 수렴 속도를 유도하기 위해 기울기 오차 한계와 곡률 항을 결합한 새로운 분석 프레임워크를 도입한다.
• 일반적인 볼록 몸체 제약 조건 하에서 볼록 최소화와 연속 DR-하위모듈러 최대화 문제에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 작은 배치 크기와 투영 단계 없이도 수렴하는 확률적 조건부 기울기 방법을 설계할 수 있는가?
• RQ2 볼록 최소화 문제에 대해 확률적 조건부 기울기 방법이 달성할 수 있는 최적의 수렴 속도는 무엇인가?
• RQ3 확률적 연속 하위모듈러 최대화 문제에서 엄밀한 (1−1/e) 근사 보장을 달성할 수 있는가?
• RQ4 비단조 하위모듈러 함수 및 일반적인 매트로이드 제약 조건에서 이 방법의 성능은 어떠한가?
• RQ5 확률적 연속 최적화를 통해 확률적 하위모듈러 집합 함수에 대한 근사 보장을 유도할 수 있는가?

주요 결과

• 부드러움과 볼록성 가정 하에 볼록 최소화 문제에 대해 O(1/t^{1/3})의 비선형 수렴 속도를 달성한다.
• 단조 연속 DR-하위모듈러 최대화 문제에 대해 기대값 기준으로 (1−1/e)OPT−ε 근사치를 O(1/ε³)의 확률적 기울기 계산 수로 달성한다.
• 내림내림된 볼록 몸체 위의 비단조 연속 DR-하위모듈러 함수에 대해 동일한 기울기 복잡도로 (1/e)OPT−ε 보장을 달성한다.
• 일반적인 매트로이드 제약 조건 하에서 단조 확률적 하위모듈러 집합 함수를 최대화하는 데 있어 첫 번째 (1−1/e) 근사 보장을 제공한다.
• 매트로이드 제약 조건 하에서 비단조 확률적 하위모듈러 집합 함수에 대해 첫 번째 (1/e) 근사 보장을 달성한다.
• 수치 실험을 통해 기존의 확률적 프록시멀 및 조건부 기울기 방법보다 더 빠른 수렴을 확인한다.