[논문 리뷰] Online Optimization with Predictions and Switching Costs: Fast Algorithms and the Fundamental Limit

Yingying Li, Guannan Qu외 1명|arXiv (Cornell University)|2018. 01. 23.

Advanced Bandit Algorithms Research참고 문헌 52인용 수 29

한 줄 요약

이 논문은 유한 예측과 스위칭 비용이 있는 볼록 최적화를 위한 빠른 기울기 기반 온라인 알고리즘인 Receding Horizon Gradient Descent (RHGD)와 Receding Horizon Accelerated Gradient (RHAG)을 제안한다. 알고리즘은 예측 창 길이에 따라 회귀 경계가 지수적으로 감소하며, RHAG의 회귀는 악조건 상황에서 기본 하한선과 거의 일치하여 near-optimal이다.

ABSTRACT

This paper studies an online optimization problem with a finite prediction window of cost functions and additional switching costs on decisions. We propose two gradient-based online algorithms: Receding Horizon Gradient Descent (RHGD), and Receding Horizon Accelerated Gradient (RHAG). Both algorithms only require a finite number of projected gradient evaluations at each stage. We provide upper bounds on the dynamic regrets of the proposed algorithms and show that the regret upper bounds decay exponentially with the length of the prediction window. Moreover, we study the fundamental lower bound on the dynamic regret for a broad class of deterministic online algorithms. The lower bound is close to RHAG's regret upper bound, indicating that our gradient-based RHAG is a near-optimal online algorithm. Finally, we conduct numerical experiments to complement our theoretical analysis.

연구 동기 및 목표

• 스마트 그리드와 데이터 센터 스케줄링 등에서 흔한 유한 시간 예측과 스위칭 비용이 있는 온라인 볼록 최적화의 과제를 해결한다.
• 각 단계에서 전체 다단계 최적화를 풀지 않고도 예측을 효율적으로 활용할 수 있는 계산적으로 효율적인 온라인 알고리즘을 설계한다.
• 예측 창 길이가 길어질수록 향상되는 이론적 성능 보장, 특히 회귀 경계를 포함한다.
• 이 설정에서의 결정적 온라인 알고리즘에 대한 동적 회귀의 기본 하한선을 유도하여 최적성의 기준을 확립한다.
• RHAG가 이 하한선에 매우 가까운 회귀 성능을 보이며, 계산 비용이 큰 방법과 비교해도 near-optimal임을 입증한다.

제안 방법

• 기본 OCO 방법(예: OGD)을 초기화 오라클로 사용하는 기울기 기반 온라인 알고리즘인 RHGD와 RHAG를 제안한다.
• 각 단계에서 다음 W개의 비용 함수 예측을 사용해 초기화 오라클에 대한 기울기 업데이트를 수행하며, 각 단계당 총 W+1회의 투영 기울기 평가만 필요로 한다.
• 시간에 따라 변하는 비용 함수와 결정 변화를 처벌하는 이차 스위칭 비용을 포함한 최적화 문제를 수립한다.
• 예측 정확도와 계산 효율성의 균형을 위해 유한 창 길이 W에 대해 후퇴 최적화를 사용한다.
• RHAG에서 네스테로프의 가속 기울기 방법을 활용해 수렴성과 회귀 성능을 향상시킨다.
• 동적 회귀를 사용해 회귀를 분석하며, 이는 온라인 알고리즘 비용과 최적의 후행 비용 간의 차이로 정의된다.

실험 결과

연구 질문

• RQ1 유한 예측 창을 효과적으로 활용해 시간에 따라 변하는 볼록 최적화와 스위칭 비용이 있는 상황에서 회귀를 줄일 수 있는 빠른 기울기 기반 온라인 알고리즘을 설계할 수 있는가?
• RQ2 예측 창 길이 W가 온라인 알고리즘의 회귀 성능에 어떤 영향을 미치는가?
• RQ3 이 설정에서 어떤 결정적 온라인 알고리즘에 대해서도 동적 회귀의 기본 하한선은 무엇인가?
• RQ4 제안된 RHAG 알고리즘의 성능은 이 기본 하한선과 얼마나 가까운가?
• RQ5 업데이트 단계에서 최신 결정 정보를 사용할 경우, 특히 가속 방법의 경우 성능은 향상되는가 아니면 악화되는가?

주요 결과

• RHGD와 RHAG는 예측 창 길이 W에 따라 지수적으로 감소하는 회귀 경계를 달성하며, 초기화 오라클보다 크게 향상된다.
• RHAG의 회귀 상한선은 유도된 동적 회귀의 기본 하한선과 일정 인자 범위 내에 있어, 악조건 상황에서 near-optimal임을 시사한다.
• 가속 덕분에 RHAG는 RHGD보다 더 빠른 회귀 감소율을 보이며, 강한 볼록성과 미세한 조건 가정 하에서도 성능이 안정적이다.
• 수치 실험 결과, RHAG는 비용 측면에서 모델 예측 제어(MPC)와 유사하거나 뛰어나며, 훨씬 더 빠른 속도를 보인다.
• 최신 결정 정보를 업데이트에 사용할 경우, 네스테로프 방법의 입력 외란에 민감한 특성으로 인해 RHAG의 성능이 떨어지지만, RHGD는 영향을 덜 받는다.
• 회귀의 기본 하한선은 악조건 분석을 통해 유도되었으며, 이는 타당성이 있으며, 어떤 결정적 온라인 알고리즘도 이 하한선보다 유의미하게 더 낮은 회귀를 달성할 수 없음을 보여준다.