[논문 리뷰] A Second-order Bound with Excess Losses

Pierre Gaillard, Gilles Stoltz외 1명|arXiv (Cornell University)|2014. 02. 10.

Advanced Bandit Algorithms Research참고 문헌 24인용 수 52

한 줄 요약

이 논문은 초과 손실을 고려한 온라인 학습에 대해 두 번째 차수의 경계를 제시하며, 가중치 갱신 규칙에 제곱 손실을 통합함으로써 회귀 분석을 향상시킨다. 귀납법을 사용하여 누적 가중치의 로그에 대한 하한을 도출하고, 이로써 회귀는순간적 회귀와 분산 항의 조합에 의해 제어됨을 보여주며, 이는 적대적 환경에서 더 날카운 성능 보장을 이끈다.

ABSTRACT

We study online aggregation of the predictions of experts, and first show new second-order regret bounds in the standard setting, which are obtained via a version of the Prod algorithm (and also a version of the polynomially weighted average algorithm) with multiple learning rates. These bounds are in terms of excess losses, the differences between the instantaneous losses suffered by the algorithm and the ones of a given expert. We then demonstrate the interest of these bounds in the context of experts that report their confidences as a number in the interval [0,1] using a generic reduction to the standard setting. We conclude by two other applications in the standard setting, which improve the known bounds in case of small excess losses and show a bounded regret against i.i.d. sequences of losses.

연구 동기 및 목표

• 초과 손실과 제곱 손실을 분석에 통합하여 온라인 학습 알고리즘의 더 날카운 회귀 경계를 도출하기.
• 손실의 분산을 고려하는 두 번째 차수 항을 도입함으로써 표준 회귀 분석을 확장하기.
• 누적 가중치의 로그에 대한 정교한 하한을 통해 적대적 환경에서의 성능 보장을 향상시키기.
• 순간적 회귀의 제곱에 의존하는 항을 포함하여 가중치 갱신 규칙을 일반화하기.

제안 방법

• 해당 방법은 단계별로 가중치 갱신 규칙을 분석함으로써 누적 가중치의 로그 ln W_T에 대한 하한을 귀납법을 통해 도출한다.
• 순간적 회귀 r_{k,s} = ℓ̂_s - ℓ_{k,s}를 시간 s에서 학습자의 손실과 전문가의 손실의 차이로 정의한다.
• 경계는 시간에 따라 변하는 학습률 η_{k,t}와 η_{k,s-1} r_{k,s}^2를 포함하는 보정 항을 통해 두 번째 차수 효과를 반영한다.
• 귀납 단계는 알고리즘의 가중치 갱신 규칙에 의존하며, 누적 회귀와 제곱 손실에 기반하여 전문가 가중치를 조정한다.
• 분석은 로그 가중치 성장과 시간에 따른 가중 회귀 및 제곱 손실의 합을 연결한다.

실험 결과

연구 질문

• RQ1 온라인 학습에서 손실의 분산을 고려하는 두 번째 차수의 회귀 경계를 도출할 수 있는가?
• RQ2 가중치 갱신에 제곱 손실을 통합하면 회귀 보장을 어떻게 향상시키는가?
• RQ3 시간에 따라 변하는 학습률은 로그 가중치 성장 제어에 어떤 역할을 하는가?
• RQ4 선형 및 이차 항을 모두 포함하는 ln W_T에 대한 귀납적 하한을 확립할 수 있는가?

주요 결과

• 귀납법을 통해 ln w_{k,t}에 대한 하한이 확립되었으며, 이는 가중 회귀 및 분산 항의 합만큼 최소한으로 증가함을 보여준다.
• 초기 가중치에 영향을 유지하기 위해 η_{k,t}/η_{k,0}를 포함하는 보정 요소가 경계에 포함되어 있다.
• 분석은 두 번째 차수 항 η_{k,s-1} r_{k,s}^2가 누적 가중치의 성장을 제어함으로써 더 날카운 회귀 제어를 가능하게 한다.
• 결과적으로 두 번째 차수 효과를 포함함으로써 표준 제1차 회귀 경계를 일반화하여, 적대적 환경에서의 성능을 향상시킨다.