[논문 리뷰] Improved Dynamic Regret for Non-degenerate Functions

Lijun Zhang, Tianbao Yang외 3명|arXiv (Cornell University)|2017. 01. 01.

Advanced Bandit Algorithms Research인용 수 48

한 줄 요약

이 논문은 비교자 순열의 더 낫지 않은 정규화 측정법으로 제곱 경로 길이를 도입하여 온라인 학습의 동적 위험 한계를 향상시킨다. 여러 기울기 쿼리를 허용함으로써, 준-강凸성 및 자기-일관성 함수를 포함한 열악하지 않은 함수에 대해 향상된 위험 한계를 달성하며, 강凸성의 범위를 초월한다.

ABSTRACT

Recently, there has been a growing research interest in the analysis of dynamic regret, which measures the performance of an online learner against a sequence of local minimizers. By exploiting the strong convexity, previous studies have shown that the dynamic regret can be upper bounded by the path-length of the comparator sequence. In this paper, we illustrate that the dynamic regret can be further improved by allowing the learner to query the gradient of the function multiple times, and meanwhile the strong convexity can be weakened to other non-degenerate conditions. Specifically, we introduce the squared path-length, which could be much smaller than the path-length, as a new regularity of the comparator sequence. When multiple gradients are accessible to the learner, we first demonstrate that the dynamic regret of strongly convex functions can be upper bounded by the minimum of the path-length and the squared path-length. We then extend our theoretical guarantee to functions that are semi-strongly convex or self-concordant. To the best of our knowledge, this is the first time that semi-strong convexity and self-concordance are utilized to tighten the dynamic regret.

연구 동기 및 목표

• 다중 기울기 쿼리를 활용하여 온라인 학습에서 동적 위험 한계를 향상시키는 것.
• 강凸성의 가정을 준-강凸성 및 자기-일관성과 같은 열악하지 않은 조건으로 완화하는 것.
• 비교자 순열에 대한 더 낫지 않은 정규화 측정법으로 제곱 경로 길이를 도입하는 것.
• 경로 길이와 제곱 경로 길이의 최소값에 의존하는 더 낫지 않은 위험 한계를 수립하는 것.

제안 방법

• 비교자 순열에 대한 새로운 정규화 측정법으로 제곱 경로 길이를 도입하여, 기존의 표준 경로 길이보다 크게 작을 수 있음을 보임.
• 변하는 최소화자에 대한 적응성을 향상시키기 위해 라운드당 여러 기울기 쿼리를 수행하는 온라인 학습 알고리즘 설계.
• 강凸성 함수에 대해 경로 길이와 제곱 경로 길이의 최소값에 의존하는 위험 한계를 증명함.
• 비교자 순열에 대해 경로 길이와 제곱 경로 길이의 최소값에 의존하는 위험 한계를 증명함.
• 비강정성 함수의 구조를 이용하여 이전에 알려진 바보다 더 낫지 않은 위험 보장을 도출함.

실험 결과

연구 질문

• RQ1 온라인 학습에서 다중 기울기 쿼리를 허용함으로써 동적 위험을 향상시킬 수 있는가?
• RQ2 제곱 경로 길이가 동적 위험 한계를 묶는 데 있어 표준 경로 길이와 비교하여 어떻게 다른가?
• RQ3 준-강凸성과 같은 더 약한 비열악성 조건을 사용하여 강凸성 이외의 범위에서 위험 한계를 더 낫게 만들 수 있는가?
• RQ4 자기-일관성 조건을 활용하여 온라인 최적화에서 동적 위험을 향상시킬 수 있는가?
• RQ5 동적 위험 분석에서 경로 길이와 제곱 경로 길이 사이의 최적의 트레이드오프는 무엇인가?

주요 결과

• 다중 기울기 쿼리가 허용될 경우, 강凸성 함수의 동적 위험 한계는 경로 길이와 제곱 경로 길이의 최소값으로 상한이 둔다.
• 많은 실용적 상황에서 제곱 경로 길이가 경로 길이보다 크게 작다는 것이 입증되었으며, 이는 더 낫지 않은 위험 한계를 가능하게 한다.
• 제안된 분석은 준-강凸성 함수로 확장되며, 동적 위험 설정에서 이 조건을 사용한 최초의 위험 한계를 제공한다.
• 자기-일관성 함수의 경우, 곡률 구조를 이용함으로써 더 낫지 않은 위험 보장을 달성한다.
• 이 작업은 강凸성 이외의 비열악한 함수 클래스와 다중 기울기 쿼리를 조합한 최초의 위험 한계를 수립한다.