[논문 리뷰] Online Optimization with Memory and Competitive Control

Guanya Shi, Yiheng Lin외 3명|arXiv (Cornell University)|2020. 02. 13.

Optimization and Search Problems참고 문헌 39인용 수 20

한 줄 요약

이 논문은 구조적 메모리가 있는 온라인 볼록 최적화를 위한 새로운 알고리즘인 옵timistic Regularized Online Balanced Descent (OOBDO)를 소개한다. 여기서 비용은 이전 $ p $개의 결정에 의존하며, 사전에 정확히 알려져 있지 않다. 이 알고리즘은 차원에 영향을 받지 않는 일정한 경쟁 비율을 달성하며, 한 번 이상의 단계보다 긴 메모리에 대해 이러한 결과를 처음으로 이룩한다. 또한 온라인 제어와의 연결을 수립하여, 광범위한 제어 문제 클래스에 대해 일정한 경쟁 비율을 갖는 정책을 도출한다.

ABSTRACT

This paper presents competitive algorithms for a novel class of online optimization problems with memory. We consider a setting where the learner seeks to minimize the sum of a hitting cost and a switching cost that depends on the previous $p$ decisions. This setting generalizes Smoothed Online Convex Optimization. The proposed approach, Optimistic Regularized Online Balanced Descent, achieves a constant, dimension-free competitive ratio. Further, we show a connection between online optimization with memory and online control with adversarial disturbances. This connection, in turn, leads to a new constant-competitive policy for a rich class of online control problems.

연구 동기 및 목표

• 한 번 이상의 단계를 초월한 메모리가 있는 온라인 최적화에 대해 일정한 경쟁 비율을 갖는 알고리즘이 부족한 점을 보완하기 위해.
• 비용 함수가 행동 선택 이전에 알려져야 한다는 제한적인 가정을 제거하고, Smoothed Online Convex Optimization (SOCO)를 일반화하기 위해.
• 메모리가 있는 온라인 최적화와 적대적 교란 하의 온라인 제어 사이에 이론적 연결 고리를 수립하기 위해.
• 다양한 선형 제어 문제에 대해 일정한 경쟁 비율을 갖는 정책을 개발하여 이전 연구의 한계를 극복하기 위해.

제안 방법

• 손실이 이전 $ p $개의 행동에 의존하고 사전에 정확히 알려져 있지 않은, 구조적 메모리가 있는 온라인 볼록 최적화의 새로운 문제 설정을 제안한다.
• 지연되고 부분적인 정보를 처리하기 위해 낙관주의와 정규화를 통합한 Optimistic Regularized Online Balanced Descent (OOBDO) 알고리즘을 도입한다.
• 경쟁 비율 분석 프레임워크를 사용하여, OOBDO가 차원과 문제 크기와 무관하게 일정한 경쟁 비율을 달성함을 증명한다.
• 선형 동역학과 적대적 교란을 갖는 광범위한 온라인 제어 문제들을 구조적 메모리가 있는 OCO 문제로 환원한다.
• 최적화 설정에서 제어 설정으로의 경쟁 보장을 전이하기 위해 비틀린 환원 기법을 활용한다.
• 노이즈 시퀀스의 명시적 구성 방법을 사용하여 최악의 경우 비용 비율을 분석하고, 최적의 선형 제어기와 진정한 오프라인 최적 제어기 사이의 성능 격차를 한계화한다.

실험 결과

연구 질문

• RQ1 완전한 향후 비용 지식이 없이도, 한 번 이상의 단계를 초월한 메모리가 있는 온라인 최적화에 대해 일정한 경쟁 비율을 갖는 알고리즘을 설계할 수 있는가?
• RQ2 적대적 교란이 있는 온라인 제어 문제에서 최적의 정적 선형 제어기와 진정한 오프라인 최적 제어기 사이의 이론적 성능 격차는 무엇인가?
• RQ3 메모리가 있는 온라인 최적화와 온라인 제어 사이의 연결 고리를 형식화하여 일반 제어 시스템에 대해 일정한 경쟁 비율을 갖는 정책을 도출할 수 있는가?
• RQ4 메모리 길이 $ p $와 시스템 동역학과 같은 시스템 매개변수에 따라 제안된 알고리즘의 경쟁 비율은 어떻게 변화하는가?
• RQ5 적대적 교란이 있는 선형 제어 시스템에서 최적의 선형 제어기와 진정한 오프라인 최적 제어기 사이의 최악의 성능 비율은 무엇인가?

주요 결과

• 제안된 OOBDO 알고리즘은 문제의 차원과 메모리 길이 $ p $와 무관하게, 구조적 메모리가 있는 온라인 볼록 최적화에서 일정한 경쟁 비율을 달성한다.
• 경쟁 비율은 보편적인 상수로 한정되어 있으며, 다양한 문제 사례에서의 강건성을 보여준다.
• 일정한 교란이 있는 경우, $ T \to \infty $일 때 경쟁 비율은 $ \frac{q + (a-1)^2}{4} \cdot \frac{q + (a-1)^2}{q} $로 수렴하며, 이는 시스템 매개변수에 의존함을 보여준다.
• 진동하는 교란 $ w_t = (-1)^t w $의 경우, 경쟁 비율은 $ \frac{q + (a-1)^2}{4} \cdot \frac{q + (a+1)^2}{q} $로 한정되며, 일정한 경우보다 상당히 클 수 있다.
• 최적의 선형 제어기와 진정한 오프라인 최적 제어기 사이의 격차는 임의로 클 수 있으며, 정적 정규화 기준의 한계를 보여준다.
• 온라인 제어를 구조적 메모리가 있는 OCO 문제로 환원함으로써, 적대적 교란이 있는 광범위한 선형 제어 시스템에 대해 일정한 경쟁 비율을 갖는 정책을 도출할 수 있으며, 이는 이전 연구에서 요구한 역행렬 가능 제어 행렬이나 완전한 교란 지식을 초월한다.