[논문 리뷰] Primal-Dual Frank-Wolfe for Constrained Stochastic Programs with Convex and Non-convex Objectives

Xiaohan Wei, Michael J. Neely|arXiv (Cornell University)|2018. 06. 02.

Advanced Wireless Network Optimization참고 문헌 23인용 수 5

한 줄 요약

이 논문은 볼록 및 비볼록 목표 함수를 가진 제약 조건이 있는 확률적 프로그래밍을 위한 원시-이중 프랭크-울프 알고리즘을 제안하며, 시간에 따라 변화하는 시스템에서 저복잡도, 통계 무지의 의사결정을 가능하게 한다. 비볼록 문제의 경우 수렴 시간이 O(1/ε³)이며, 볼록 문제의 경우 O(1/ε²)이다. 응용 분야로는 분산형 기회적 스케줄링과 네트워크 상의 공감 최적화가 포함된다.

ABSTRACT

We study constrained stochastic programs where the decision vector at each time slot cannot be chosen freely but is tied to the realization of an underlying random state vector. The goal is to minimize a general objective function subject to linear constraints. A typical scenario where such programs appear is opportunistic scheduling over a network of time-varying channels, where the random state vector is the channel state observed, and the control vector is the transmission decision which depends on the current channel state. We consider a primal-dual type Frank-Wolfe algorithm that has a low complexity update during each slot and that learns to make efficient decisions without prior knowledge of the probability distribution of the random state vector. We establish convergence time guarantees for the case of both convex and non-convex objective functions. We also emphasize application of the algorithm to non-convex opportunistic scheduling and distributed non-convex stochastic optimization over a connected graph.

연구 동기 및 목표

• 독립 동일분포(random states)에 의존하는 의사결정을 포함한 제약 조건이 있는 확률적 프로그래밍을 위한 저복잡도, 통계 무지의 알고리즘을 개발하는 것.
• 상태 분포를 알지 못하는 조건에서 볼록 및 비볼록 목표 함수에 대한 수렴 시간 보장을 수립하는 것.
• 공감 제약 조건이 있는 연결된 그래프 상에서 분산형 비볼록 확률적 최적화를 가능하게 하는 것.
• 시간에 따라 변화하는 무선 네트워크에서의 기회적 스케줄링 및 큐 안정성 조건 하에서의 전력 최적화와 같은 실용적 응용을 지원하는 것.
• 분산 환경에서 목표 함수의 부분최적성, 제약 위반, 공감 오차에 대한 이론적 성능 한계를 제공하는 것.

제안 방법

• 알고리즘은 제약 조건을 강제하고 국소 기울기 기반 의사결정을 이끄는 가상 큐를 사용하는 원시-이중 프랭크-울프 프레임워크를 사용한다.
• 각 시간 슬롯에서, 에이전트들은 분리 가능한 부분문제를 풀며, 하나는 원시 변수에 대한 프랭크-울프 단계이고, 다른 하나는 이중 변수에 대한 투영 기반 기울기 방법이다.
• 가상 큐는 제약 위반을 추적하고 이중 상승을 이끄는 데 사용되는 최대값 연산을 통해 항목별로 업데이트된다.
• 수렴성과 안정성의 균형을 이루기 위해 감소하는 스텝 사이즈 η = 1/T^{2/3}를 사용하는 시간 평균 업데이트 규칙을 적용한다.
• 분산 최적화를 위해 각 노드는 이중 변수의 로컬 복제본을 유지하고, 이웃 노드와의 통신을 통해 가상 큐를 통해 공감을 강제한다.
• 목표 성능와 제약 위반 간의 트레이드오프를 위해 V = T^{1/3}라는 파라미터를 사용하며, 이는 최적의 수렴 속도를 이끈다.

실험 결과

연구 질문

• RQ1 제약 조건이 있는 확률적 프로그래밍에서 상태 분포를 사전에 알지 못하는 조건에서 원시-이중 프랭크-울프 알고리즘이 ε-근사 해에 수렴할 수 있는가?
• RQ2 이 설정에서 볼록 함수와 비볼록 함수에 대해 각각 수렴 시간 복잡도는 어떻게 되는가?
• RQ3 이 알고리즘은 공감 제약 조건이 있는 연결된 네트워크에서 분산형 비볼록 최적화로 어떻게 확장될 수 있는가?
• RQ4 분산 환경에서 목표 함수의 부분최적성, 제약 위반, 공감 오차에 대해 어떤 성능 한계를 설정할 수 있는가?
• RQ5 볼록 및 비볼록 케이스에서 모두 최적의 수렴 속도를 달성하면서도 저연산 복잡도를 유지할 수 있는가?

주요 결과

• 볼록 목표 함수의 경우, 알고리즘은 ε-최적 해에 O(1/ε²) 수렴 시간을 달성하며, 드리프트 플러스 페널티 방법의 알려진 한계와 일치한다.
• 비볼록 목표 함수의 경우, 알고리즘은 O(1/ε³) 시간 내에 ε-근접 국소 최적해에 수렴하며, 부분최적성 갭은 O(1/T^{1/3})로 유계이다.
• 임의의 두 노드 사이의 기대 제약 위반은 O(1/T^{1/3})로 유계이며, 이는 공감 수렴을 보장한다.
• 가능집합 Γ̄_i^*로부터의 기대 거리는 O(1/T^{2/3})로 유계이며, 이는 탇합성 수렴을 나타낸다.
• 프랭크-울프와 투영 기반 기울기 단계를 사용하여 분리 가능한 부분문제를 풀어 각 슬롯의 복잡도를 낮춘다.
• 이론적 성능 한계는 공감 제약 조건이 있는 분산 비볼록 확률적 최적화에의 적용을 통해 검증되었다.