[논문 리뷰] Strongly Adaptive Regret Implies Optimally Dynamic Regret.

Lijun Zhang, Tianbao Yang외 2명|arXiv (Cornell University)|2017. 01. 26.

Advanced Bandit Algorithms Research참고 문헌 17인용 수 7

한 줄 요약

이 논문은 적응적 손실과 동적 손실 간의 이론적 연결을 수립하여, 동적 손실이 적응적 손실과 기능적 변동성의 함수로 bound될 수 있음을 보여준다. 기능적 변동성에 대한 사전 지식이 필요 없이 볼록 함수, 지수적으로 오목한 함수, 강하게 볼록한 함수에 대해 최소최대 최적의 동적 손실을 달성하는 강하게 적응적인 알고리즘을 제안한다.

ABSTRACT

To cope with changing environments, recent developments in online learning have introduced the concepts of adaptive regret and dynamic regret independently. In this paper, we illustrate an intrinsic connection between these two concepts by showing that the dynamic regret can be expressed in terms of the adaptive regret and the functional variation. This observation implies that strongly adaptive algorithms can be directly leveraged to minimize the dynamic regret. As a result, we present a series of strongly adaptive algorithms whose dynamic regrets are minimax optimal for convex functions, exponentially concave functions, and strongly convex functions, respectively. To the best of our knowledge, this is the first time that such kind of dynamic regret bound is established for exponentially concave functions. Moreover, all of those adaptive algorithms do not need any prior knowledge of the functional variation, which is a significant advantage over previous specialized methods for minimizing dynamic regret.

연구 동기 및 목표

• 온라인 학습에서 적응적 손실과 동적 손실 간의 이론적 연결을 수립하는 것.
• 강하게 적응적인 알고리즘이 직접적으로 동적 손실을 최소화할 수 있음을 보여주는 것.
• 다양한 함수 클래스에 대해 최소최대 최적의 동적 손실을 달성하는 새로운 적응 알고리즘을 개발하는 것.
• 동적 손실 최소화 과정에서 기능적 변동성에 대한 사전 지식이 필요 없도록 하는 것.

제안 방법

• 논문은 기능적 변동성과 적응적 손실의 함수로 동적 손실의 일반적 표현식을 유도한다.
• 기존의 강하게 적응적인 알고리즘을 구축 요소로 활용하여 동적 손실 최소화 전략을 구성한다.
• 이 접근법은 볼록 함수, 지수적으로 오목한 함수, 강하게 볼록한 함수에 적용되며, 각 클래스에 맞게 맞춤형 알고리즘 설계가 이루어진다.
• 알고리즘은 사전에 기능적 변동성에 대한 지식이 없이도 적응 가능하도록 설계되어 있다.
• 이론적 분석을 통해 각 함수 클래스에 대해 동적 손실의 bound가 최소최대 최적임을 보여준다.
• 적응적 손실 분해를 통해 다양한 함수 유형 간의 동적 손실 처리를 통합하는 프레임워크를 제공한다.

실험 결과

연구 질문

• RQ1 비정적 환경에서 적응적 손실을 어떻게 사용하여 동적 손실을 bound할 수 있는가?
• RQ2 기능적 변동성에 대한 사전 지식 없이도 강하게 적응적인 알고리즘이 최소최대 최적의 동적 손실을 달성할 수 있는가?
• RQ3 온라인 학습에서 기능적 변동성과 동적 손실 간의 관계는 무엇인가?
• RQ4 지수적으로 오목한 함수에 대해 새로운 동적 손실 bound가 존재하는가?
• RQ5 다양한 함수 클래스 간의 동적 손실 최소화를 위한 통합 프레임워크를 개발할 수 있는가?

주요 결과

• 동적 손실은 적응적 손실과 기능적 변동성의 함수로 표현될 수 있으며, 이는 두 개념 간의 근본적인 이론적 연결을 수립한다.
• 제안된 알고리즘은 볼록 함수에 대해 최소최대 최적의 동적 손실을 달성하며, 기존 알려진 하한값과 일치한다.
• 지수적으로 오목한 함수에 대해서는 본 논문이 최초로 알려진 최소최대 최적의 동적 손실 bound를 확립한다.
• 강하게 볼록한 함수에 대해서는 기능적 변동성에 대한 사전 지식 없이도 제안된 알고리즘이 최소최대 최적의 동적 손실을 달성한다.
• 모든 알고리즘은 강하게 적응적이며, 기능적 변동성에 대한 어떤 사전 정보도 필요로 하지 않아 이전의 전용 방법보다 향상된다.