[논문 리뷰] Following the Leader and Fast Rates in Linear Prediction: Curved Constraint Sets and Other Regularities

Ruitong Huang, Tor Lattimore외 2명|arXiv (Cornell University)|2017. 02. 10.

Advanced Bandit Algorithms Research인용 수 13

한 줄 요약

이 논문은 손실 함수가 곡률을 가질 때뿐 아니라, 제약집합의 경계가 곡률을 가질 때도 온라인 선형 예측에서 Follow the Leader (FTL) 알고리즘이 로그 수준의 누적손실을 달성함을 입증한다. 특히, 결정집합이 강하게 볼록하고 손실 벡터의 평균의 노름이 0에서 일정하게 떨어져 있을 경우에 해당한다. 이는 손실 곡률과 무관하게 빠른 수렴 속도를 가능하게 하는 새로운 메커니즘을 드러낸다.

ABSTRACT

The follow the leader (FTL) algorithm, perhaps the simplest of all online learning algorithms, is known to perform well when the loss functions it is used on are convex and positively curved. In this paper we ask whether there are other "lucky" settings when FTL achieves sublinear, "small" regret. In particular, we study the fundamental problem of linear prediction over a non-empty convex, compact domain. Amongst other results, we prove that the curvature of the boundary of the domain can act as if the losses were curved: In this case, we prove that as long as the mean of the loss vectors have positive lengths bounded away from zero, FTL enjoys a logarithmic growth rate of regret, while, e.g., for polytope domains and stochastic data it enjoys finite expected regret. Building on a previously known meta-algorithm, we also get an algorithm that simultaneously enjoys the worst-case guarantees and the bound available for FTL.

연구 동기 및 목표

• 손실 함수가 곡률을 가지지 않는 경우에도 FTL이 온라인 선형 예측에서 비선형 누적손실을 달성할 수 있는지 조사하기 위해.
• 결정집합 또는 데이터의 구조적 규칙성 중에서 FTL의 빠른 누적손실 속도를 가능하게 하는 요소를 규명하기 위해.
• 제약집합 경계의 강한 볼록성과 함께 손실 평균이 0에서 일정하게 떨어지면, 공격자에 대비한 환경에서도 FTL이 로그 수준의 누적손실을 달성할 수 있음을 입증하기 위해.
• 유도된 누적손실 경계의 날카러움을 보여주는 하한 경계를 제시하기 위해.

제안 방법

• 저자들은 볼록이고 컴acts한 결정집합 위에서 온라인 선형 예측의 맥락에서 FTL을 분석한다.
• 기하학적 조건을 도입한다: 제약집합의 경계가 강하게 볼록하다는 것(곡률이 있음). 이는 빠른 수렴 속도를 가능하게 하는 규칙성으로 작용한다.
• 손실 함수가 선형인 경우에도 결정집합 경계의 곡률을 활용하여 누적손실 경계를 도출한다.
• 최악의 경우에 대한 강건성과 유리한 조건에서의 빠른 수렴 속도를 동시에 확보하는 메타알고리즘을 구성한다.
• 핵심 기술 도구로는 농도 불등식과 이중 공간의 기하학적 분석(특히 정규 쌍봉과 지지함수 포함)을 사용한다.
• 증명 기법은 손실 벡터와 제약집합 경계의 정규 벡터 사이의 각도를 통해 누적손실을 경계하는 것으로, 곡률을 활용해 충분한 진전을 확보한다.

실험 결과

연구 질문

• RQ1 손실 함수가 선형인데도 제약집합의 경계가 곡률을 가질 경우 FTL이 온라인 선형 예측에서 비선형 누적손실을 달성할 수 있는가?
• RQ2 손실 함수에 곡률이 없더라도 결정집합 경계의 강한 볼록성이 FTL의 빠른 누적손실 속도를 가능하게 하는 규칙성으로 작용하는가?
• RQ3 이러한 기하학적 규칙성 하에서 FTL이 달성할 수 있는 최적의 누적손실 속도는 무엇이며, 이는 날카로운가?
• RQ4 한 번의 알고리즘이 동시에 최악의 경우 강건성과 유리한 조건에서의 빠른 수렴 속도를 달성할 수 있는가?

주요 결과

• 결정집합이 강하게 볼록하고 손실 벡터의 평균의 노름이 0에서 일정하게 떨어지면, FTL은 온라인 선형 예측에서 로그 수준의 누적손실을 달성한다.
• 제약집합 경계의 곡률은 손실 곡률이 없더라도 빠른 수렴 속도를 가능하게 하는 대체 요소로 작용한다.
• 스토케스틱 데이터를 가진 다각형 영역에서는 FTL이 유한한 기대 누적손실을 달성하여 최악의 경우 선형 누적손실에 비해 상당한 향상을 보인다.
• 최악의 경우 보장을 유지하면서도 유리한 조건에서 FTL의 빠른 수렴 속도를 활용하는 메타알고리즘을 제안한다.
• 논문은 일치하는 하한 경계를 확립하여, 도출된 로그 수준의 누적손실 경계가 로그 인자까지 날카로운지를 입증한다.
• 결과적으로 제약집합의 기하학적 규칙성이 손실 함수의 곡률과 동일한 효과를 가지며, 온라인 학습에서 빠른 수렴 속도를 달성하는 데 기여할 수 있음을 보여준다.