[論文レビュー] Tight Concentrations and Confidence Sequences from the Regret of Universal Portfolio

Francesco Orabona, Kwang-Sung Jun|arXiv (Cornell University)|Oct 27, 2021

Advanced Bandit Algorithms Research参考文献 22被引用数 4

ひとこと要約

本稿では、普遍ポートフォリオアルゴリズムのレグレットを用いて、有界な確率変数に対するタイトで時間に一様な信頼区間を導出する新規手法を提案する。普遍ポートフォリオの非有界なベッティング分率の取り扱い能力を活用することで、単一の標本からも非自明な信頼区間が得られ、漸近的に最適な性能を達成し、繰り返し対数法則を満たす。

ABSTRACT

A classic problem in statistics is the estimation of the expectation of random variables from samples. This gives rise to the tightly connected problems of deriving concentration inequalities and confidence sequences, that is confidence intervals that hold uniformly over time. Previous work has shown how to easily convert the regret guarantee of an online betting algorithm into a time-uniform concentration inequality. In this paper, we show that we can go even further: We show that the regret of universal portfolio algorithms give rise to new implicit time-uniform concentrations and state-of-the-art empirically calculated confidence sequences. In particular, our numerically obtained confidence sequences can never be vacuous, even with a single sample, and satisfy the law of iterated logarithm.

研究の動機と目的

• 単一の標本でも非自明なまま保たれる時間に一様な信頼区間を構築すること。
• 時間に一様に有効であることを保ちながら、信頼区間の幅において最先端の経験的性能を達成すること。
• 普遍ポートフォリオのレグレットに基づく新しい暗黙の集中不等式を導出すること。
• 実用的および理論的用途の両方を想定し、集中不等式の数値的および記号的逆算を可能にすること。
• 漸近的に繰り返し対数法則を満たし、最適な長期的挙動を確保すること。

提案手法

• 特にディリクレ(1/2,1/2)混合を用いたカバー・オルドリッチの普遍ポートフォリオを用い、時間に一様な集中不等式を導出する基盤として、普遍ポートフォリオアルゴリズムのレグレット保証を活用する。
• 連続コインへのベッティング問題を2資産ポートフォリオ選択問題に還元することで、[−1/(1−m), 1/m] の範囲で非有界なベッティング分率を許容し、初期標本における性能を向上させる。
• 暗黙の集中不等式の数値的逆算を用いて、1標本あたりO(1)の計算量で動作し、1標本からも非自明な境界を有する信頼区間アルゴリズムPRECiSE-CO96を生成する。
• 記号的逆算により、時間に一様な経験的ベルヌーイ型不等式を導出する。
• 正確な逆算と同等の漸近的性能を有するが、高速な数値的逆算が可能なPRECiSE-A-CO96を導入する。
• ロビンズ（1970）の混合を活用し、繰り返し対数法則の満たす最適な漸近的挙動を達成するPRECiSE-R70を開発する。

実験結果

リサーチクエスチョン

• RQ1 普遍ポートフォリオアルゴリズムのレグレットを用いて、単一の標本からもタイトで非自明な時間に一様な集中不等式を導出可能か？
• RQ2 ポートフォリオのレグレットから導出される暗黙の集中不等式を、最小限の計算コストで実用的な信頼区間を得るために数値的に逆算できるか？
• RQ3 得られた信頼区間は、最適な漸近的挙動を達成でき、特に繰り返し対数法則を満たすか？
• RQ4 既存の信頼区間アルゴリズムにおける固定離散化手法と比較して、普遍ポートフォリオ枠組みで非有界なベッティング分率を許容することで得られる利点は何か？
• RQ5 dKelly や Clopper-Pearson といった既存手法と比較して、提案手法は区間幅と一様性の観点でどのように優れているか？

主な発見

• PRECiSE-CO96は、普遍ポートフォリオ枠組みが非有界なベッティング分率の範囲を許容することにより、標本数に関わらず非自明な信頼区間を生成する。
• レグレットに基づく集中不等式の数値的逆算により得られた信頼区間は、1標本でも幅が1未満となり、経験的分散に依存する手法を上回る性能を示す。
• PRECiSE-R70は、繰り返し対数法則を満たす漸近的性能を達成し、10^5標本の時点でHowardら（2021）の手法を上回る。
• 記号的逆算により、時間に一様な経験的ベルヌーイ型不等式が得られ、信頼区間の新たな理論的基盤が構築された。
• ディリクレ(1/2,1/2)混合に基づく手法により、1標本あたりO(1)の計算量で高速な数値的逆算（PRECiSE-A-CO96）が可能となり、漸近的最適性を保持する。
• 1標本のみでも、PRECiSE-CO96は、元の分布の知識を必要としないものの、Clopper-Pearsonの正確な信頼区間の挙動をよく再現する。