[논문 리뷰] Online Isotonic Regression

Wojciech Kotłowski, Wouter M. Koolen외 1명|arXiv (Cornell University)|2016. 03. 14.

Advanced Bandit Algorithms Research참고 문헌 29인용 수 4

한 줄 요약

이 논문은 등급 함수의 커버링 넷 위에서 지수 가중치를 사용하여 등온 회귀에 대한 효율적인 온라인 알고리즘을 제안하며, $O(T^{1/3}\text{log}^{2/3}T)$의 리그레트 한계를 달성한다. 이는 로그 요소를 제외한 최적이다. 알고리즘은 라운드당 $O(T^{4/3})$의 시간 복잡도로 계산이 효율적이며, $\theta(T^{1/3})$의 하한과도 일치한다.

ABSTRACT

We consider the online version of the isotonic regression problem. Given a set of linearly ordered points (e.g., on the real line), the learner must predict labels sequentially at adversarially chosen positions and is evaluated by her total squared loss compared against the best isotonic (non-decreasing) function in hindsight. We survey several standard online learning algorithms and show that none of them achieve the optimal regret exponent; in fact, most of them (including Online Gradient Descent, Follow the Leader and Exponential Weights) incur linear regret. We then prove that the Exponential Weights algorithm played over a covering net of isotonic functions has a regret bounded by $O\big(T^{1/3} \log^{2/3}(T)\big)$ and present a matching $Ω(T^{1/3})$ lower bound on regret. We provide a computationally efficient version of this algorithm. We also analyze the noise-free case, in which the revealed labels are isotonic, and show that the bound can be improved to $O(\log T)$ or even to $O(1)$ (when the labels are revealed in isotonic order). Finally, we extend the analysis beyond squared loss and give bounds for entropic loss and absolute loss.

연구 동기 및 목표

• 선형적으로 순서가 매겨진 점들에 대해 순차적으로 예측을 내는 등온 회귀 문제를 다루기 위해 제안된 제곱 손실 기반의 온라인 설정을 수립한다.
• 기본적인 온라인 학습 알고리즘인 온라인 경사 하강법과 팔로우 더 리더가 이 설정에서 왜 실패하는지, 선형 리그레트를 겪는 근본적인 이유를 규명한다.
• 온라인 등온 회귀 설정에서 하위선형 리그레트를 달성하는 계산적으로 효율적인 알고리즘을 설계한다.
• 일반 케이스와 노이즈가 없는 케이스에 대해 날카로운 리그레트 한계를 확립하며, 후자의 경우 최소 최대 리그레트를 정확히 규명한다.
• 제곱 손실을 초과하여 엔트로피 손실 및 절대 손실 함수로의 분석을 확장한다.

제안 방법

• 등온 함수의 이산화된 커버링 넷 $\mathcal{F}_K$ 위에서 지수 가중치 알고리즘을 적용하며, 각 함수 값은 $K+1$개의 수준로 제한된다.
• 등온성과 충분한 해상도를 확보하기 위해 $k=0,\dots,K$에 대해 $z_k = \sin^2(\pi k / (2K))$로 구성된 정교한 격자를 사용하여 커버링 넷을 정의한다.
• 정보 이론적 추론과 표준 지수 가중치 리그레트 분해를 사용하여 리그레트의 상한을 유도하며, $K \propto T^{1/3} \text{log}^{-1/3}T$로 선택하여 항들을 균형 잡는다.
• 리그레트에 대해 $\Omega(T^{1/3})$의 하한을 증명하여, 알고리즘이 로그 요소를 제외한 측면에서 최적임을 입증한다.
• 무게와 예측을 점진적으로 유지 및 갱신함으로써, 각 라운드당 $O(T^{4/3})$ 시간 복잡도로 계산이 효율적인 구현을 설계한다.
• 손실 함수를 제곱 손실 이외의 형태로 확장: 엔트로피 손실의 경우 동일한 이산화된 지수 가중치를 사용하여 $O(T^{1/3}\text{log}^{2/3}T)$ 리그레트를 달성함을 보이며, 절대 손실의 경우 지수 가중 경사법이 $O(\sqrt{T\text{log}}T)$ 리그레트를 달성함을 보인다.

실험 결과

연구 질문

• RQ1 기본적인 온라인 학습 알고리즘인 온라인 경사 하강법과 팔로우 더 리더가 온라인 등온 회귀 문제에서 왜 실패하는가? 그들이 선형 리그레트를 겪는 근본적인 이유는 무엇인가?
• RQ2 등온 함수의 커버링 넷 위에서 이산화된 지수 가중치 알고리즘이 온라인 등온 회귀에서 하위선형 리그레트를 달성할 수 있는가? 만약 가능하다면, 최적의 리그레트 한계는 무엇인가?
• RQ3 제안된 $O(T^{1/3}\text{log}^{2/3}T)$ 리그레트 한계는 날카로운가? 최적성의 확인을 위해 대응하는 하한을 확립할 수 있는가?
• RQ4 진짜 레이블이 등온인 노이즈가 없는 경우 리그레트는 어떻게 스케일링되며, 최소 최대 리그레트는 정확히 특성화할 수 있는가?
• RQ5 알고리즘 프레임워크는 엔트로피 손실 및 절대 손실과 같은 다른 손실 함수로 확장할 수 있는가? 이 경우의 대응 리그레트 한계는 무엇인가?

주요 결과

• 등온 함수의 커버링 넷 위에서 지수 가중치 알고리즘은 $O(T^{1/3}\text{log}^{2/3}T)$ 리그레트 한계를 달성하며, 이는 로그 요소를 제외한 최적이다.
• 리그레트에 대해 $\Omega(T^{1/3})$의 하한이 확립되어, 제안된 알고리즘이 점차적으로 최적임을 입증한다.
• 진짜 레이블이 등온인 노이즈가 없는 경우, 최소 최대 리그레트는 $O(\log T)$이며, 레이블이 등온 순서로 공개될 경우 리그레트는 $O(1)$로 유계이다.
• 알고리즘은 각 라운드당 $O(T^{4/3})$ 시간 복잡도로 효율적으로 구현되어 대규모 온라인 학습에 실용적이다.
• 엔트로피 손실의 경우, 동일한 이산화된 지수 가중치 프레임워크를 사용하여 $O(T^{1/3}\text{log}^{2/3}T)$ 리그레트 한계를 달성한다.
• 절대 손실의 경우, 지수 가중 경사법이 $O(\sqrt{T\text{log}}T)$ 리그레트를 달성하며, 이는 $O(\sqrt{\log T})$ 요소를 제외한 최적이다.