[논문 리뷰] On Equivalence of Martingale Tail Bounds and Deterministic Regret Inequalities

Alexander Rakhlin, Karthik Sridharan|arXiv (Cornell University)|2015. 10. 13.

Advanced Bandit Algorithms Research참고 문헌 20인용 수 9

한 줄 요약

이 논문은 온라인 학습에서의 마르팅게일 尾 확률 추정, 기대값 기반 추정, 결정론적 위험 불등식 간의 기본적인 동치성을 확립한다. 이 이중성 구조를 활용하여, 적응적 스텝 크기를 사용하는 온라인 미러 디센트를 통해 바나흐 공간에 값이 있는 마르팅게일에 대한 정밀한 지수 꼬리 추정을 도출하고, 순차적 복잡도를 로그 인자 수준까지 특징짓는 일반화된 마르팅게일 유형의 개념을 제안한다.

ABSTRACT

We study an equivalence of (i) deterministic pathwise statements appearing in the online learning literature (termed \emph{regret bounds}), (ii) high-probability tail bounds for the supremum of a collection of martingales (of a specific form arising from uniform laws of large numbers for martingales), and (iii) in-expectation bounds for the supremum. By virtue of the equivalence, we prove exponential tail bounds for norms of Banach space valued martingales via deterministic regret bounds for the online mirror descent algorithm with an adaptive step size. We extend these results beyond the linear structure of the Banach space: we define a notion of \emph{martingale type} for general classes of real-valued functions and show its equivalence (up to a logarithmic factor) to various sequential complexities of the class (in particular, the sequential Rademacher complexity and its offset version). For classes with the general martingale type 2, we exhibit a finer notion of variation that allows partial adaptation to the function indexing the martingale. Our proof technique rests on sequential symmetrization and on certifying the \emph{existence} of regret minimization strategies for certain online prediction problems.

연구 동기 및 목표

• 마르팅게일 최대값에 대한 고확률 꼬리 추정, 기대값 기반 추정, 온라인 학습에서의 결정론적 위험 불등식 간의 공식적 동치성을 확립하는 것.
• 선형 바나흐 공간의 구조를 초월하여 마르팅게일에 대한 지수 꼬리 추정을 확장하기 위해 일반화된 마르팅게일 유형의 개념을 도입하는 것.
• 순차적 라데마처 복잡도 및 그 오프셋 형태가 이 일반화된 마르팅게일 유형과 로그 인자 수준까지 동치임을 보이는 것.
• 마르팅게일 과정에서 색인 함수에 대한 부분적 적응을 가능하게 하는 개선된 변동성의 개념을 개발하는 것.

제안 방법

• 순차적 대칭화를 활용하여 확률론적 마르팅게일 부등식과 온라인 예측에서의 결정론적 경로 기반 위험 불등식을 연결하는 것.
• 최소최대 정리를 적용하여 위험 최소화 전략의 존재를 확인하고, 이를 통해 마르팅게일 최대값을 상계하는 예측 가능한 과정을 도출하는 것.
• 적응적 스텝 크기를 사용하는 온라인 미러 디센트를 활용하여 결정론적 위험 불등식을 도출하고, 이를 통해 바나흐 공간에 값이 있는 마르팅게일에 대한 정밀한 꼬리 추정을 유도하는 것.
• 실수 값 함수의 클래스에 대해 순차적 복잡도 측도를 통해 정의된 일반화된 마르팅게일 유형을 제안하는 것.
• 이 일반화된 마르팅게일 유형과 순차적 라데마처 복잡도(로그 인자 수준까지) 간의 동치성을 확립하는 것.
• 결정론적 위험 불등식과 확률론적 꼬리 추정 간의 반복적 전환을 통해 추정을 정교화하고, 특히 마르팅게일 유형 2 클래스에 대해 효과적으로 적용하는 것.

실험 결과

연구 질문

• RQ1 전역적 변동성 대신 경로에 의존하는 변동성을 사용함으로써, 바나흐 공간에 값이 있는 마르팅게일에 대한 지수 꼬리 추정을 강화할 수 있는가?
• RQ2 선형 바나흐 공간의 구조를 초월하여 순차적 복잡도를 포괄하는 마르팅게일 유형의 일반화가 가능한가?
• RQ3 온라인 학습에서의 결정론적 위험 불등식이 마르팅게일 최대값에 대한 확률론적 꼬리 추정과 어느 정도 동치인가?
• RQ4 위험 불등식과 꼬리 추정 간의 동치성은 비선형 또는 비정규 분포를 따르는 과정에 대해 더 정밀한 추정을 도출하는 데 활용될 수 있는가?
• RQ5 마르팅게일 유형 2 과정에서 변동성의 개념이 마르팅게일을 색인하는 함수에 어떻게 적응하는가?

주요 결과

• 논문은 바나흐 공간에 값이 있는 마르팅게일의 최대값에 대한 지수 꼬리 추정이 적응적 스텝 크기를 사용하는 온라인 미러 디센트에서 유도하는 결정론적 위험 불등식을 통해 유도될 수 있음을 증명한다.
• 실수 값 함수의 클래스에 대해 일반화된 마르팅게일 유형을 도입하였고, 이 유형이 순차적 라데마처 복잡도 및 그 오프셋 형태와 로그 인자 수준까지 동치임을 보였다.
• 마르팅게일 유형 2를 갖는 클래스에 대해서는 색인 함수에 대한 부분적 적응을 가능하게 하는 개선된 변동성의 개념을 개발하여 추정의 정밀도를 향상시켰다.
• 위험 불등식, 꼬리 추정, 기대값 기반 추정 간의 동치성이 공식적으로 확립되었고, 이는 양방향으로 활용되어 더 강력한 결과를 도출하는 데 기여했다.
• 분석 결과, 최소최대 정리를 통해 존재가 보장되는 위험 최소화 전략이 직접적으로 예측 가능한 과정을 유도하며, 이는 날카운 확률론적 추정을 가능하게 한다.
• 이 방법을 통해 결정론적 부등식을 통해 실수 값 마르팅게일의 농도 집중 문제로 환원함으로써, 벡터 값 마르팅게일의 노름에 대한 고확률 추정을 도출할 수 있었다.