[논문 리뷰] Sequential Probability Assignment with Binary Alphabets and Large Classes of Experts

Alexander Rakhlin, Karthik Sridharan|arXiv (Cornell University)|2015. 01. 29.

Advanced Bandit Algorithms Research참고 문헌 17인용 수 8

한 줄 요약

이 논문은 이진 결과와 로그 손실을 가진 순차적 확률 예측에서 최소최대 위험에 대해 순차적 전문가 클래스의 복잡도를 사용하여 날카운 상한과 하한을 확립한다. 이는 로그 손실에서 유계가 아닌 기울기를 다루기 위해 베르누이 타입의 경계를 사용하는 새로운 순차적 체이닝 기법을 도입하며, 고차원 유클리드 구를 포함한 큰 클래스에 대해 비어 있지 않은 위험 경계를 가능하게 하고, 기능 값 경계만 필요로 하는 자가-일관성 있는 장벽 기반 알고리즘을 제시한다.

ABSTRACT

We analyze the problem of sequential probability assignment for binary outcomes with side information and logarithmic loss, where regret---or, redundancy---is measured with respect to a (possibly infinite) class of experts. We provide upper and lower bounds for minimax regret in terms of sequential complexities of the class. These complexities were recently shown to give matching (up to logarithmic factors) upper and lower bounds for sequential prediction with general convex Lipschitz loss functions (Rakhlin and Sridharan, 2015). To deal with unbounded gradients of the logarithmic loss, we present a new analysis that employs a sequential chaining technique with a Bernstein-type bound. The introduced complexities are intrinsic to the problem of sequential probability assignment, as illustrated by our lower bound. We also consider an example of a large class of experts parametrized by vectors in a high-dimensional Euclidean ball (or a Hilbert ball). The typical discretization approach fails, while our techniques give a non-trivial bound. For this problem we also present an algorithm based on regularization with a self-concordant barrier. This algorithm is of an independent interest, as it requires a bound on the function values rather than gradients.

연구 동기 및 목표

• 이진 결과와 로그 손실을 가진 순차적 확률 할당에서 최소최대 위험을 특성화하기 위해.
• 특히 큰 또는 무한한 클래스일 경우 전문가 클래스의 복잡도가 위험에 미치는 영향을 분석하기 위해.
• 로그 손실 함수에서 유계가 아닌 기울기를 다룰 수 있는 새로운 분석 기법을 개발하기 위해.
• 기본적인 이산화 기법이 실패하는 고차원 전문가 클래스에 대해 비어 있지 않은 위험 경계를 제공하기 위해.
• 기울기 경계가 아닌 기능 값 경계만 필요로 하는 정규화 기반 알고리즘을 설계하기 위해.

제안 방법

• 자르기된 전문가 클래스의 위험을 경계하기 위해 수정된 오프셋 순차적 라데마처 복잡도를 도입한다.
• 서브-가우시안 및 서브-지수 尾행동을 제어하기 위해 베르누이 타입의 농도를 사용하는 순차적 체이닝 기법을 활용한다.
• 로그 손실 함수에서 유계가 아닌 기울기를 관리하기 위해 τδ(a)를 통한 자르기 기법을 사용한다.
• 고차원 유클리드 구에 있는 벡터로 매개변수화된 특정 전문가 클래스에 대해 자가-일관성 있는 장벽 정규화 방법을 적용한다.
• 지름-확장 차원의 재귀적 구성과 트리 기반의 분할 증명을 통해 위험 경계를 유도한다.
• 대칭화를 피하고 로그 손실의 자기정보 성질을 활용하여 자르기 파rameter δ에 대한 의존도를 향상시킨다.

실험 결과

연구 질문

• RQ1 전문가 클래스의 순차적 복잡도는 로그 손실을 가진 순차적 확률 예측에서 최소최대 위험을 어떻게 결정하는가?
• RQ2 손실 함수가 유계가 아닌 기울기를 가질 경우, 베르누이 타입 경계를 사용하는 순차적 체이닝 방법이 위험을 효과적으로 제어할 수 있는가?
• RQ3 표준 이산화 기법이 실패하는 고차원 유클리드 구에 의해 매개변수화된 전문가 클래스와 같은 큰 클래스에 대해 최소최대 위험은 무엇인가?
• RQ4 기울기 경계가 아닌 기능 값 경계만 필요한 정규화 기반 알고리즘을 이 문제에 대해 설계할 수 있는가?
• RQ5 클래스 복잡도와 문제 파라미터에 대한 의존도 측면에서 상한과 하한 사이의 위험 경계는 어떻게 비교되는가?

주요 결과

• 논문은 순차적 복잡도에 대해 로그 인자까지의 차이가 없는 일치하는 상한과 하한을 확립한다.
• 제안된 순차적 체이닝과 베르누이 타입 경계는 단조 증가 클래스에 대해 O(n^{3/5}) 순서의 위험 경계를 달성하며, 기존 알려진 속도를 복원한다.
• d차원 유클리드 구에 의해 매개변수화된 전문가 클래스에 대해, 이 방법은 O(d^{1/2} n^{1/2} log n)의 비어 있지 않은 위험 경계를 도출한다. 이는 d가 증가함에 따라 비어 있지 않은 상태를 유지한다.
• 분석 결과, 제안된 순차적 복잡도는 매칭되는 하한을 통해 문제에 내재된 성질임을 보여준다.
• 기능 값 경계만 필요로 하는 자가-일관성 있는 장벽 기반 알고리즘을 개발하여 기울기 제어가 불가능한 환경에서도 적용 가능하다.
• δ ∈ (0, 1/2)인 자르기 방법은 δ에 대한 위험 의존도를 제어할 수 있으며, 최종 경계는 O(δ n)에 더해 체이닝된 복잡도 항으로 스케일링된다.