[논문 리뷰] A Chaining Algorithm for Online Nonparametric Regression

Pierre Gaillard, Sébastien Gerchinovitz|arXiv (Cornell University)|2015. 02. 26.

Advanced Bandit Algorithms Research참고 문헌 26인용 수 9

한 줄 요약

이 논문은 다변수, 미분 가능하고 공동으로 볼록인 손실 함수에 대해 최적의 리그레트 한계를 달성하는 체이닝 기반 온라인 비모수 회귀 알고리즘을 제안한다. 기울기 노름과 로그 인자에서 유도된 적응형 학습률로 다변수 지수적 기울기 알고리즘을 튜닝함으로써, 리그레트가 $ O(\sqrt{\log N_k / T}) $ 스케일링을 보장하여 복잡하고 고차원적인 결정 공간에서의 온라인 학습에 이론적 보장을 제공한다.

ABSTRACT

We consider the problem of online nonparametric regression with arbitrary deterministic sequences. Using ideas from the chaining technique, we design an algorithm that achieves a Dudley-type regret bound similar to the one obtained in a non-constructive fashion by Rakhlin and Sridharan (2014). Our regret bound is expressed in terms of the metric entropy in the sup norm, which yields optimal guarantees when the metric and sequential entropies are of the same order of magnitude. In particular our algorithm is the first one that achieves optimal rates for online regression over H{ö}lder balls. In addition we show for this example how to adapt our chaining algorithm to get a reasonable computational efficiency with similar regret guarantees (up to a log factor).

연구 동기 및 목표

• 다양한 결정 변수와 복잡하고 고차원적인 결과 공간을 가진 설정에서 온라인 비모수 회귀를 다루기 위해.
• 다양한 변수를 통해 미분 가능하고 공동으로 볼록인 손실 함수를 처리하는 리그레트 최소화 알고리즘 개발을 위해.
• 행동 수와 시간 수평선에 따라 최적으로 스케일링되는 날카운 리그레트 한계 유도를 위해.
• 기울기 노름 제약 조건을 사용하여 다변수 지수적 기울기 알고리즘의 체계적 튜닝 전략 제공을 위해.
• 체이닝 기법과 볼록성 가정을 통해 온라인 학습 이론을 다변수 비모수 설정으로 확장하기 위해.

제안 방법

• 알고리즘은 각 변수별로 하나씩, 다중 행동 집합 $ \Delta_{N_k} $ 에 대한 분포 갱신을 위해 다변수 지수적 기울기(MultivarEG) 방법을 사용한다.
• 학습률 $ \eta^{(k)} = \sqrt{2\log(N_k)/T} / G^{(k)} $ 를 사용하며, 여기서 $ G^{(k)} $ 는 변수 $ k $ 에 대한 손실 함수의 편미분 기울기의 무한노름을 제한한다.
• 손실 함수 $ \ell_t $ 가 모든 변수에 대해 공동으로 볼록적이고 미분 가능하다는 가정을 하여 부드러움과 하향 기울기 제어를 보장한다.
• 기울기 노름의 균일한 제약 조건을 활용하여 시간에 따른 손실을 분해함으로써 리그레트를 근사하기 위해 체이닝 추론을 적용한다.
• 리그레트는 개별 변수 기여도로 분해되며, 각 성분은 기울기 노름 제약의 역수로 제어된다.
• 행동 수에 대한 로그 스케일링을 통해 탐색과 이용의 균형을 이루는 방식으로 알고리즘을 튜닝하여 리그레트를 최소화한다.

실험 결과

연구 질문

• RQ1 체이닝 기반 알고리즘이 다변수를 포함한 온라인 비모수 회귀에서 최적의 리그레트 한계를 달성할 수 있는가?
• RQ2 기울기 노름 제약 조건 하에서 다변수 지수적 기울기 알고리즘은 어떻게 튜닝되어 리그레트를 최소화할 수 있는가?
• RQ3 다양한 결정 변수에 대해 미분 가능하고 공동으로 볼록인 손실 함수를 가진 온라인 학습의 이론적 리그레트 한계는 무엇인가?
• RQ4 $ \log N_k $ 와 $ T $ 에 대한 의존성이 다변수 온라인 회귀에서 수렴 속도에 어떻게 영향을 미치는가?
• RQ5 기울기 노름 제약 조건을 사용하여 최적의 리그레트 스케일링을 보장하는 데이터 독립적 적응형 학습률을 유도할 수 있는가?

주요 결과

• 다변수 지수적 기울기 알고리즘의 리그레트는 $ O\left(\sqrt{\log N_k / T}\right) $ 로 제한되며, 시간 수평선 $ T $ 와 행동 수 $ N_k $ 에 대해 최적의 스케일링을 달성한다.
• 학습률 $ \eta^{(k)} = \sqrt{2\log(N_k)/T} / G^{(k)} $ 는 주어진 기울기 노름 제약 조건 하에서 리그레트 한계가 날카로워지도록 보장한다.
• 모든 시간 단계에서 손실 함수의 편미분 기울기의 무한노름이 균일하게 제한된다는 가정 하에 이 한계가 유지된다.
• 모든 변수에 걸쳐 공동으로 볼록성과 미분 가능성을 활용함으로써 최적의 리그레트를 달성한다.
• 체이닝 기법은 리그레트를 각 변수별로 다룰 수 있는 구성요소로 분해하여 깔끔하고 확장 가능한 분석을 가능하게 한다.
• 이론적 분석은 알고리즘이 $ N_k $ 에 대한 로그 의존성으로 결정 공간의 내재적 복잡성에 적응함을 확인한다.