[논문 리뷰] Online mirror descent and dual averaging: keeping pace in the dynamic case

Fang Huang, Nicholas J. A. Harvey외 2명|arXiv (Cornell University)|2020. 06. 03.

Advanced Bandit Algorithms Research참고 문헌 23인용 수 19

한 줄 요약

이 논문은 동적 학습률 하에서 기존에 달성되지 못했던 OMD와 Dual Averaging(DA) 간의 성능 격차를 메우기 위해 OMD를 안정화하는 기법을 제안한다. 기존 OMD 수렴 분석을 모듈러하게 수정함으로써, 저자들은 다양한 설정(전문가 조언 및 복합 비용 함수 포함)에서 안정화된 OMD가 DA와 동일한 비선형 잔여 오차 경계를 달성함을 보이며, 두 알고리즘이 동일한 반복값을 생성하는 조건을 제공한다.

ABSTRACT

Online mirror descent (OMD) and dual averaging (DA) -- two fundamental algorithms for online convex optimization -- are known to have very similar (and sometimes identical) performance guarantees when used with a fixed learning rate. Under dynamic learning rates, however, OMD is provably inferior to DA and suffers a linear regret, even in common settings such as prediction with expert advice. We modify the OMD algorithm through a simple technique that we call stabilization. We give essentially the same abstract regret bound for OMD with stabilization and for DA by modifying the classical OMD convergence analysis in a careful and modular way that allows for straightforward and flexible proofs. Simple corollaries of these bounds show that OMD with stabilization and DA enjoy the same performance guarantees in many applications -- even under dynamic learning rates. We also shed light on the similarities between OMD and DA and show simple conditions under which stabilized-OMD and DA generate the same iterates.

연구 동기 및 목표

• 동적 학습률 하에서 Online Mirror Descent(OMD)와 Dual Averaging(DA) 간의 근본적인 성능 격차를 해결하기 위해.
• 이전까지 OMD는 선형 잔여 오차를 경험하는 반면 DA는 O(√T)의 비선형 잔여 오차를 유지하는 격차를 메우기 위해.
• 수렴 성질을 유지하는 안정화 기법을 도입함으로써 OMD와 DA의 이론적 분석을 통합하기 위해.
• 프록시 변형을 통해 복합 비용 함수로의 분석을 확장하기 위해.
• 안정화된 OMD와 DA가 동일한 반복값을 생성하는 데 필요한 충분한 조건을 규명하기 위해.

제안 방법

• 동적 학습률 하에서 성능을 향상시키기 위해 업데이트 규칙을 수정하는 OMD의 안정화 기법을 도입하기 위해.
• 기존의 OMD 수렴 분석을 모듈러하고 유연한 방식으로 재구성하여 안정화를 통합하기 위해.
• 반복값 간의 Bregman 발산에만 의존하는 추상적 잔여 오차 경계를 도출하여, DA의 경계와 동일하게 만들기 위해.
• 안정화된 OMD 프레임워크를 활용해 전문가 조언 및 복합 최적화 설정에서 동일한 잔여 오차 경계를 증명하기 위해.
• 안정화된 OMD와 DA가 동일한 반복값을 생성하는 조건을 설정하여, 고정 학습률 사례와 유사한 행동을 보이게 하기 위해.
• 프록시 변형을 통해 복합 비용 함수를 다룰 수 있도록 분석을 확장하기 위해.

실험 결과

연구 질문

• RQ1 동적 학습률 하에서 OMD를 수정하여 DA와 동일한 잔여 오차 성능을 달성할 수 있는가? 이전에는 OMD가 선형 잔여 오차를 경험하였다.
• RQ2 OMD의 업데이트 규칙에 어떤 구조적 변화가 이루어져야 DA와의 잔여 오차 격차를 메울 수 있는가?
• RQ3 시간에 따라 변하는 학습률 하에서도 안정화된 OMD와 DA가 동일한 반복값을 생성하는 조건은 무엇인가?
• RQ4 안정화된 OMD 프레임워크는 복합 최적화 문제에서 정규화된 DA와 동일한 잔여 오차 경계를 달성할 수 있는가?
• RQ5 Bregman 발산은 OMD와 DA의 잔여 오차 분석을 통합하는 데 어떤 역할을 하는가?

주요 결과

• 안정화된 OMD는 동적 학습률 하에서도 DA와 동일한 O(√T)의 잔여 오차 경계를 달성하여, 기존 알려진 성능 격차를 해결한다.
• 전문가 조언 문제에서 안정화된 OMD는 동적 학습률 하에서도 최고의 알려진 O(√T ln n)의 잔여 오차 경계를 달성한다.
• 논문은 안정화된 OMD가 첫 번째 단계의 잔여 오차 경계를 달성함을 보여주는 간결한 증명을 제공한다. 이 경계는 T가 아니라 최고의 전문가의 비용에 의존한다.
• 저자들은 안정화된 OMD와 DA가 동일한 반복값을 생성하는 데 필요한 단순한 충분 조건을 규명하여 두 알고리즘의 행동을 통합한다.
• 복합 비용 함수의 경우, 이중 안정화된 OMD의 프록시 변형은 정규화된 DA와 동일한 잔여 오차 경계를 달성한다.
• 분석 결과, 표준 OMD가 동적 비율에서 Ω(T)의 잔여 오차 하한을 갖는다는 점이 안정화로 인해 피할 수 있으며, 비선형 잔여 오차가 달성됨을 보여준다.