[논문 리뷰] Online Learning with Continuous Variations: Dynamic Regret and Reductions

Ching-An Cheng, Jonathan Lee외 2명|arXiv (Cornell University)|2019. 02. 19.

Advanced Bandit Algorithms Research참고 문헌 39인용 수 7

한 줄 요약

이 논문은 손실 함수가 학습자의 결정에 따라 연속적으로 변화하는 연속적 온라인 학습(Continuous Online Learning, COL)이라는 새로운 온라인 학습 프레임워크를 소개한다. 이는 변화 예산에 대한 사전 지식이 없더라도 동적 리그레트의 비선형 성능을 달성할 수 있게 하며, 하위선형 동적 리그레트와 변분부등식을 푸는 것 사이의 기본적인 동치성을 확립한다. 이로 인해 적응형 및 확률적 환경에서 새로운 수렴 보장과 정적 리그레트 및 균형 문제로의 감소를 가능하게 한다.

ABSTRACT

Online learning is a powerful tool for analyzing iterative algorithms. However, the classic adversarial setup sometimes fails to capture certain regularity in online problems in practice. Motivated by this, we establish a new setup, called Continuous Online Learning (COL), where the gradient of online loss function changes continuously across rounds with respect to the learner's decisions. We show that COL covers and more appropriately describes many interesting applications, from general equilibrium problems (EPs) to optimization in episodic MDPs. In particular, we show monotone EPs admits a reduction to achieving sublinear static regret in COL. Using this new setup, we revisit the difficulty of sublinear dynamic regret. We prove a fundamental equivalence between achieving sublinear dynamic regret in COL and solving certain EPs. With this insight, we offer conditions for efficient algorithms that achieve sublinear dynamic regret, even when the losses are chosen adaptively without any a priori variation budget. Furthermore, we show for COL a reduction from dynamic regret to both static regret and convergence in the associated EP, allowing us to analyze the dynamic regret of many existing algorithms.

연구 동기 및 목표

• 온라인 학습의 격차를 메우기 위해 손실 함수의 연속적 규칙성을 모델링함으로써, 임의의 변화 예산을 가진 적대적 설정을 넘어서는 데 기여한다.
• 기존의 경계가 실패하거나 의미가 없어지는 경우가 많은 적응형 및 확률적 환경에서 하위선형 동적 리그레트를 달성하는 데 기여한다.
• 특히 강한 모노톤성을 띠는 변분부등식(Variational Inequalities, VIs)을 고려할 때, 동적 리그레트 최소화와 변분부등식 해결 사이의 공식적인 연결 고리를 설정한다.
• 기존 알고리즘의 분석을 가능하게 하기 위해 동적 리그레트에서 정적 리그레트와 균형 문제 수렴으로의 감소를 제공한다.
• 실제로 발생하는 확률적 피드백 하에서 온라인 일임 학습의 비점근 수렴 속도와 하위선형 리그레트 경계를 유도한다.

제안 방법

• COL을 정의함에 있어, 라운드 n에서의 손실이 x에 대해 연속적으로 미분 가능한 이항함수 f_x(x')에 의해 결정되며, 이는 결정에 따라 손실이 매끄럽게 변화함을 보장한다.
• 기본적인 변분부등식의 강한 모노톤성과 매끄러움을 기술하기 위해 (α,β)-정규성 개념을 도입함으로써 수렴 보장을 가능하게 한다.
• 기존 알고리즘의 분석을 가능하게 하기 위해 동적 리그레트에서 정적 리그레트 및 VI 수렴으로의 감소를 활용한다.
• 특정 스텝사이즈 규칙 η = (α−β)/(γ+β)²를 사용한 미러 디센트(온라인 기울기 하강법과 동치)를 적용함으로써, 결정적 피드백 하에서 최적 정책으로의 선형 수렴과 하위선형 동적 리그레트를 달성한다.
• 기울기 추정치를 진짜 기울기의 노이즈 있는 관측치로 모델링함으로써 확률적 피드백으로 확장하며, 이는 이차 모멘트가 유한함을 가정한다.
• 감소 프레임워크를 활용하여 스텝사이즈 η_n = 1/√n일 때, 확률적 피드백 하에서 기대 동적 리그레트에 대해 O(√N) 경계를 도출한다.

실험 결과

연구 질문

• RQ1 손실 변화에 대한 사전 지식 없이도 적응형 온라인 학습 환경에서 하위선형 동적 리그레트를 달성할 수 있는가?
• RQ2 연속적 온라인 학습에서 하위선형 동적 리그레트를 달성할 수 있는 손실 함수의 구조적 조건은 무엇인가?
• RQ3 COL에서의 동적 리그레트는 변분부등식(VI)의 해와 어떻게 관련이 있는가?
• RQ4 COL에서 동적 리그레트에서 정적 리그레트 및 VI 수렴으로의 감소를 공식적으로 확립할 수 있는가?
• RQ5 COL 프레임워크 하에서 확률적 피드백 하에서 온라인 일임 학습의 비점근 수렴 속도와 리그레트 경계는 무엇을 도출할 수 있는가?

주요 결과

• COL에서 하위선형 동적 리그레트는 변분부등식(VI)을 푸는 것과 본질적으로 동치이며, 특히 VI가 강한 모노톤성을 띠는 경우에 해당된다.
• α > β일 경우, 고유한 정책 ̂π가 존재하여 자신의 분포상에서 최적이며, 이는 온라인 일임 학습 문제의 잘 정의됨을 보장한다.
• 결정적 피드백과 스텝사이즈 η = (α−β)/(γ+β)²일 때, 온라인 기울기 하강 알고리즘은 ̂π로 선형 수렴을 이루며 하위선형 동적 리그레트(실제로 O(1))를 달성한다.
• 스텝사이즈 η_n = 1/√n일 때의 확률적 피드백 하에서, 기대 동적 리그레트는 O(√N)로 경계가 되며, 이는 이전의 점근 수렴 결과를 향상시킨다.
• 기존의 조건에 비해 더 약한 조건 α > β만 요구하므로, 기존의 작업에서 요구한 더 강한 조건 α/γ > 2β/α보다 개선된 조건을 제공한다.
• 제안된 감소 프레임워크를 통해 동적 리그레트를 정적 리그레트 및 VI 수렴과 연결함으로써, 기존 알고리즘의 직접적 분석이 가능해지고 더 넓은 적용 가능성을 확보한다.