[논문 리뷰] Revisiting Smoothed Online Learning

Lijun Zhang, Wei Jiang외 2명|arXiv (Cornell University)|2021. 02. 13.

Advanced Bandit Algorithms Research참고 문헌 58인용 수 4

한 줄 요약

이 논문은 최적화를 통해 충격 비용과 전환 비용을 균형 잡는 간단하면서도 효과적인 접근을 제안함으로써 스무딩 온라인 학습을 재검토한다. 볼록이고 $\lambda$-이차 성장 함수인 경우, 개선된 경쟁 비율—최대 $1 + \frac{2}{\sqrt{\lambda}}$—을 달성하며, 전환 비용을 고려한 동적 리그레스를 달성하는 Smoothed Ader라는 알고리즘을 도입한다. 이 알고리즘은 $O(\sqrt{T(1+P_T)})$의 최적 동적 리그레스 경계를 확보하며, 일치하는 하한선으로 확인된다.

ABSTRACT

In this paper, we revisit the problem of smoothed online learning, in which the online learner suffers both a hitting cost and a switching cost, and target two performance metrics: competitive ratio and dynamic regret with switching cost. To bound the competitive ratio, we assume the hitting cost is known to the learner in each round, and investigate the simple idea of balancing the two costs by an optimization problem. Surprisingly, we find that minimizing the hitting cost alone is $\max(1, \frac{2}α)$-competitive for $α$-polyhedral functions and $1 + \frac{4}λ$-competitive for $λ$-quadratic growth functions, both of which improve state-of-the-art results significantly. Moreover, when the hitting cost is both convex and $λ$-quadratic growth, we reduce the competitive ratio to $1 + \frac{2}{\sqrtλ}$ by minimizing the weighted sum of the hitting cost and the switching cost. To bound the dynamic regret with switching cost, we follow the standard setting of online convex optimization, in which the hitting cost is convex but hidden from the learner before making predictions. We modify Ader, an existing algorithm designed for dynamic regret, slightly to take into account the switching cost when measuring the performance. The proposed algorithm, named as Smoothed Ader, attains an optimal $O(\sqrt{T(1+P_T)})$ bound for dynamic regret with switching cost, where $P_T$ is the path-length of the comparator sequence. Furthermore, if the hitting cost is accessible in the beginning of each round, we obtain a similar guarantee without the bounded gradient condition, and establish an $Ω(\sqrt{T(1+P_T)})$ lower bound to confirm the optimality.

연구 동기 및 목표

• 충격 비용을 단독으로 최소화하는 성능 분석과 가중합 최소화를 통한 경쟁 비율 경계 향상을 통해 스무딩 온라인 학습의 경쟁 비율 경계를 향상시키는 것.
• 교정자 시퀀스의 경로 길이 정규성에 적응하는 전환 비용을 고려한 동적 리그레스 경계 개발.
• 일치하는 $\Omega(\sqrt{T(1+P_T)})$ 하한선을 통한 제안된 알고리즘의 최적성 입증.
• 충격 비용 함수에 대한 다양한 가정을 분석함으로써 경쟁 비율과 동적 리그레스 간의 통찰 통합.
• 스무딩 온라인 학습을 통해 전환 제약 학습과 계속 학습의 이론적 기초 제공.

제안 방법

• 각 라운드에서 충격 비용과 전환 비용의 가중합을 최소화하는 것을 그레디 전략으로 비용 균형 조절.
• 충격 비용 함수에 대해 $\alpha$-다각형 및 $\lambda$-이차 성장 함수 조건 하에서 경쟁 비율 분석하여, 각각 $\max(1, \frac{2}{\alpha})$ 및 $1 + \frac{4}{\lambda}$의 경계 유도.
• 전환 비용을 성능 평가에 통합한 Ader의 수정 버전인 Smoothed Ader (SAder) 도입.
• 숨겨진 충격 비용이 존재하는 표준 온라인 볼록 최적화 하에서 SAder의 $O(\sqrt{T(1+P_T)})$ 동적 리그레스 경계 유도.
• 미래의 충격 비용 지식을 활용하는 사전 예측 변형인 SAder의 변형 개발으로, 유한 기울기 가정 없이도 동일한 경계 달성.
• 동적 리그레스 경계의 최적성을 확인하기 위해 일치하는 $\Omega(\sqrt{T(1+P_T)})$ 하한선 확립.

실험 결과

연구 질문

• RQ1 충격 비용을 단독으로 최소화하는 것이 $\alpha$-다각형 및 $\lambda$-이차 성장 함수에 대해 기존 방법보다 더 나은 경쟁 비율을 달성할 수 있는가?
• RQ2 볼록이고 $\lambda$-이차 성장 함수인 경우, 충격 비용과 전환 비용의 가중합을 최소화하는 그레디 알고리즘이 달성할 수 있는 경쟁 비율은 무엇인가?
• RQ3 전환 비용을 고려한 수정된 Ader 알고리즘을 통해 전환 비용을 고려한 동적 리그레스를 최적 경계로 봉인할 수 있는가?
• RQ4 제안된 Smoothed Ader 알고리즘이 경로 길이 정규성 하에서 최적의 $O(\sqrt{T(1+P_T)})$ 동적 리그레스 경계를 달성하는가?
• RQ5 일치하는 $\Omega(\sqrt{T(1+P_T)})$ 하한선으로 확인된 바와 같이, $O(\sqrt{T(1+P_T)})$ 경계가 타이트한가?

주요 결과

• 충격 비용을 단독으로 최소화하면 $\alpha$-다각형 함수에 대해 $\max(1, \frac{2}{\alpha})$-경쟁 비율을 달성하며, 이는 이전 결과를 향상시킨다.
• $\lambda$-이차 성장 함수에 대해 충격 비용을 단독으로 최소화하면 $1 + \frac{4}{\lambda}$-경쟁 비율을 달성하며, 이는 최신 기술 대비 상당한 향상이다.
• 충격 비용이 볼록이면서 $\lambda$-이차 성장 성질을 만족할 경우, 충격 비용과 전환 비용의 가중합을 최소화하는 전략이 $1 + \frac{2}{\sqrt{\lambda}}$-경쟁 비율을 달성한다.
• 제안된 Smoothed Ader (SAder) 알고리즘은 전환 비용을 고려한 $O(\sqrt{T(1+P_T)})$ 동적 리그레스 경계를 달성하며, 이는 이론적 하한선과 일치한다.
• SAder의 사전 예측 변형은 유한 기울기 가정 없이도 동일한 경계를 달성하여 결과의 강건성을 확인한다.
• 일치하는 $\Omega(\sqrt{T(1+P_T)})$ 하한선이 확립되어, $O(\sqrt{T(1+P_T)})$ 동적 리그레스 경계가 최적임을 입증한다.