[논문 리뷰] Online convex optimization and no-regret learning: Algorithms, guarantees and applications

E. Veronica Belmega, Panayotis Mertikopoulos외 2명|arXiv (Cornell University)|2018. 04. 12.

Advanced Bandit Algorithms Research참고 문헌 28인용 수 37

한 줄 요약

이 튜토리얼은 신호 처리 및 빅데이터 응용 분야에서 불확실성 하에 의사결정을 내리는 데 있어 온라인 볼록 최적화(OCO)와 노리그레트 학습을 강력한 프레임워크로 제시한다. 이는 과거의 최적 고정 행동에 비해 성능을 비교함으로써 하위선형 리그레트를 달성하는 알고리즘을 소개하며, 이중화 기법과 제약된 변화 예산 하에서의 동적 리그레트 분석을 통해 이론적 보장을 제공한다.

ABSTRACT

Spurred by the enthusiasm surrounding the "Big Data" paradigm, the mathematical and algorithmic tools of online optimization have found widespread use in problems where the trade-off between data exploration and exploitation plays a predominant role. This trade-off is of particular importance to several branches and applications of signal processing, such as data mining, statistical inference, multimedia indexing and wireless communications (to name but a few). With this in mind, the aim of this tutorial paper is to provide a gentle introduction to online optimization and learning algorithms that are asymptotically optimal in hindsight - i.e., they approach the performance of a virtual algorithm with unlimited computational power and full knowledge of the future, a property known as no-regret. Particular attention is devoted to identifying the algorithms' theoretical performance guarantees and to establish links with classic optimization paradigms (both static and stochastic). To allow a better understanding of this toolbox, we provide several examples throughout the tutorial ranging from metric learning to wireless resource allocation problems.

연구 동기 및 목표

• 신호 처리 및 머신 러닝 분야의 연구자들에게 온라인 볼록 최적화와 노리그레트 학습에 대한 부드럽지만 엄밀한 소개를 제공하기 위해.
• 미래 정보에 대한 정보가 최소한으로 가정된 조건 하에서 온라인 알고리즘의 이론적 성능 보장을 수립하기 위해.
• 고정 및 스토하스틱 최적화와 같은 전통적 프레임워크와 온라인 최적화를 연결하고, 비정상적이고 적대적인 환경에서의 이점들을 부각하기 위해.
• 실시간 적응이 핵심이 되는 무선 자원 할당, 메트릭 학습, 멀티미디어 색인화 등 실질적 응용을 보여주기 위해.
• 정적 리그레트와 동적 리그레트의 차이를 명확히 하고, 하위선형 동적 리그레트가 달성 가능한 조건을 분석하기 위해.

제안 방법

• 미래 손실 함수를 완전히 알고 있는 가상의 최적 고정 정책에 비해 온라인 알고리즘 성능을 비교하기 위해 한난의 리그레트 정의를 사용한다.
• 고정 윈도우 기반의 노리그레트 알고리즘을 언제나 적용 가능한 알고리즘으로 변환하기 위해 이중화 기법을 활용하며, 이로 인해 최대 상수 배수의 O(√T) 리그레트를 달성한다.
• 제곱법 스케일링(예: α ∈ (0,1)에 대해 O(W^α))을 갖는 알고리즘의 리그레트 경계를 분석하여, 이중화 기법이 하위선형 리그레트를 유지함과 동시에 보편적인 곱계수를 갖는다는 것을 보여준다.
• 시간에 따라 변화하는 최적 행동과 비교하는 성능 지표로 동적 리그레트를 도입하며, 이는 순시 손실의 합에서 각 시점에서의 최적 행동을 뺀 것으로 정의된다.
• 손실 함수의 비정상성 특성을 기술하기 위해 변화 예산(VB_T) 개념을 적용하며, VB_T = o(T)일 경우 하위선형 동적 리그레트가 달성 가능하다는 것을 보여준다.
• 고정 리그레트 보장을 활용하는 리스타트 기반 알고리즘을 제안하여, 제약된 변화 예산 하에서 하위선형 동적 리그레트를 달성한다.

실험 결과

연구 질문

• RQ1 어떻게 온라인 알고리즘이 임의의 비스토하스틱적이고 잠재적으로 적대적인 손실 함수에 대해 하위선형 리그레트를 달성할 수 있는가?
• RQ2 미래 손실 함수를 완전히 알 수 없는 조건에서 온라인 학습 알고리즘에 대해 도출할 수 있는 이론적 보장은 무엇인가?
• RQ3 하위선형 동적 리그레트가 달성 가능한 조건는 무엇이며, 그러한 알고리즘은 어떻게 설계할 수 있는가?
• RQ4 이중화 기법은 고정 윈도우 기반의 노리그레트 알고리즘을 성능 보장이 입증된 언제나 적용 가능한 알고리즘으로 변환하는 데 어떤 역할을 하는가?
• RQ5 변화 예산이 비정상적인 환경에서 동적 리그레트 최소화의 가능성을 결정하는 데 있어 어떤 역할을 하는가?

주요 결과

• 이중화 기법을 통해 언제나 적용 가능한 온라인 알고리즘의 리그레트는 고정 윈도우 리그레트 경계보다 최대 2/(√2−1) ≈ 3.41 배 더 클 수 있으며, 이는 윈도우 크와 무관하다.
• 리그레트가 O(W^α)로 스케일링되는 알고리즘(α ∈ (0,1))에 대해 이중화 기법을 적용하면, α에만 의존하는 보편적인 상수 배수를 고려할 때 O(T^α)의 언제나 적용 가능한 리그레트 경계를 달성한다.
• 동적 리그레트 R*T는 항상 정적 리그레트 RT보다 크거나 같으며, 이는 최적 행동이 시간이 지남에 따라 변화할 경우 기본적인 성능 격차가 존재함을 시사한다.
• 변화 예산이 Ω(T)에 이르는 정보를 가진 적대자에 대해서는 하위선형 동적 리그레트를 달성할 수 없으며, 이는 적대자가 R*T = Ω(T)로 강제할 수 있기 때문이다.
• 변화 예산 VB_T = ∑‖ℓ_t − ℓ_{t+1}‖ 이 T에 대해 하위선형일 경우, 고정 리그레트 보장을 활용하는 리스타트 기반 알고리즘을 통해 하위선형 동적 리그레트를 달성할 수 있다.
• 이 프레임워크는 데이터가 비정상적이며 피드백이 제한된 실세계의 신호 처리 문제, 예를 들어 무선 자원 할당과 메트릭 학습에 적용 가능하다.