[논문 리뷰] Beyond No-Regret: Competitive Control via Online Optimization with Memory

Guanya Shi, Yiheng Lin외 3명|arXiv (Cornell University)|2020. 02. 13.

Optimization and Search Problems참고 문헌 37인용 수 2

한 줄 요약

이 논문은 과거 $ p $ 결정에 따라 스위칭 비용이 변하는 메모리가 있는 온라인 최적화를 위한 Optimistic Regularized Online Balanced Descent (ORBED)를 제안한다. 이는 차원에 영향을 받지 않는 일정한 경쟁 비율을 달성하며, 악성 온라인 제어 문제와의 연결을 설정하여 넓은 범위의 제어 문제에 대해 최초로 일정한 경쟁 정책을 제공한다.

ABSTRACT

This paper presents competitive algorithms for a novel class of online optimization problems with memory. We consider a setting where the learner seeks to minimize the sum of a hitting cost and a switching cost that depends on the previous $p$ decisions. This setting generalizes Smoothed Online Convex Optimization. The proposed approach, Optimistic Regularized Online Balanced Descent, achieves a constant, dimension-free competitive ratio. Further, we show a connection between online optimization with memory and online control with adversarial disturbances. This connection, in turn, leads to a new constant-competitive policy for a rich class of online control problems.

연구 동기 및 목표

• 과거 $ p $ 결정에 따라 스위칭 비용이 변하는 온라인 최적화 문제를 다루며, 표준 스무스드 온라인 볼록 최적화를 일반화한다.
• 이 메모리 의존 설정에서 차원에 영향을 받지 않는 일정한 경쟁 비율을 확보하는 경쟁 알고리즘을 개발한다.
• 메모리가 있는 온라인 최적화와 악성 외란 하에서의 온라인 제어 간의 이론적 연결 고리를 수립한다.
• 제안된 프레임워크를 활용해 악성 외란 하에서도 일정한 경쟁성을 유지하는 새로운 제어 정책을 설계한다.

제안 방법

• 과거 $ p $ 결정의 메모리를 의사결정 과정에 통합하는 온라인 알고리즘인 Optimistic Regularized Online Balanced Descent (ORBED)를 제안한다.
• 미래의 비용 변화를 예측하기 위해 온두리티스틱 예측 구성요소를 통합하여 악성 시퀀스에 대한 적응성을 향상시킨다.
• 히팅 비용과 메모리 의존 스위칭 비용을 균형 잡는 정규화된 업데이트 규칙을 사용하여 안정성과 경쟁성을 보장한다.
• 메모리 항의 구조를 활용하여 문제의 차원에 영향을 받지 않는 경쟁 비율을 유도한다.
• 공통된 수학적 구조를 통해 메모리 기반 온라인 최적화와 악성 외란 하에서의 온라인 제어 간의 연결을 수식화한다.
• ORBED 프레임워크에서 유도된 제어 정책이 악성 외란 하에서도 일정한 경쟁성을 유지한다.

실험 결과

연구 질문

• RQ1 과거 $ p $ 결정에 따라 스위칭 비용이 변하는 온라인 최적화 알고리즘을 설계하고 일정한 경쟁 비율을 달성할 수 있는가?
• RQ2 온라인 최적화에 메모리를 통합할 경우 경쟁 비율과 알고리즘의 안정성은 어떻게 영향을 받는가?
• RQ3 메모리가 있는 온라인 최적화와 악성 외란 하에서의 온라인 제어 간의 이론적 연결 고리는 무엇인가?
• RQ4 제안된 프레임워크는 넓은 범위의 온라인 제어 문제에 대해 일정한 경쟁성을 갖는 제어 정책을 도출할 수 있는가?
• RQ5 ORBED의 온두리티스틱 예측 메커니즘은 표준 온라인 밸런스드 디센트보다 악성 환경에서 성능을 향상시키는가?

주요 결과

• 제안된 ORBED 알고리즘은 문제의 차원에 영향을 받지 않는 일정한 경쟁 비율을 달성한다. 이는 이전 방법에 비해 중대한 개선이다.
• 스위칭 비용이 과거 $ p $ 결정에 의존하더라도 경쟁 비율은 유한하고 차원에 영향을 받지 않는다.
• 메모리 기반 온라인 최적화와 악성 외란 하에서의 온라인 제어 간의 공식적인 연결 고리가 수립되어 이중 도메인 간 통찰을 가능하게 한다.
• 악성 외란 하에서 널리 알려진 일정한 경쟁 정책을 갖는 최초의 제어 문제 클래스를 이 프레임워크가 도출한다.
• ORBED의 온두리티스틱 예측 구성요소는 향후 비용 변화를 예측하여 일정한 경쟁 비율에 기여함으로써 성능을 향상시킨다.
• 결과적으로 스무스드 온라인 볼록 최적화를 일반화하여 메모리 의존 스위칭 비용을 允허함으로써, 경쟁적 온라인 알고리즘의 적용 범위를 넓힌다.