[論文レビュー] Mixture Martingales Revisited with Applications to Sequential Tests and Confidence Intervals

Emilie Kaufmann, Wouter M. Koolen|arXiv (Cornell University)|Nov 28, 2018

Advanced Bandit Algorithms Research参考文献 20被引用数 20

ひとこと要約

この論文は、より良好な有限標本保証を備えた逐次仮説検定および信頼区間を構築するために、混合マルティングルールを再考する。指数型分布族における新しい混合構成を活用することで、第一種誤り確率および信頼区間幅の tighter な境界を達成し、逐次分析設定におけるパワーと効率性を顕著に向上させる。

ABSTRACT

This paper presents new deviation inequalities that are valid uniformly in time under adaptive sampling in a multi-armed bandit model. The deviations are measured using the Kullback-Leibler divergence in a given one-dimensional exponential family, and may take into account several arms at a time. They are obtained by constructing for each arm a mixture martingale based on a hierarchical prior, and by multiplying those martingales. Our deviation inequalities allow us to analyze stopping rules based on generalized likelihood ratios for a large class of sequential identification problems, and to construct tight confidence intervals for some functions of the means of the arms.

研究の動機と目的

• 混合マルティングルールを用いて、逐次仮説検定および信頼区間の有限標本性能を向上させること。
• 逐次サンプリング下での第一種誤り確率および区間幅の制御に課題を抱える既存のマルティングルールベース手法の限界を解消すること。
• 保証されたカバレッジを有する信頼列を構築する理論的根拠が明確で、計算効率の高い手法を開発すること。
• 混合マルティングルールの適用範囲を、より広い指数型分布族のクラスへ拡張すること。
• 新しい混合構成下での期待標本サイズおよび誤り率の理論的境界を提供すること。

提案手法

• パrameter空間上の事前分布を用いた混合マルティングルールを構築し、特に指数型分布族に特化して設計する。
• 混合事前分布下での尤度比過程の閉形式表現を導出し、逐次検定統計量の正確な計算を可能にする。
• 第一種誤り制御と統計的パワーのトレードオフを最適化する新しい重み付けスキームを導入する。
• 混合マルティングルールを用いて、任意の停止時刻において保証されたカバレッジを持つ信頼列を構築する。
• 尤度比過程を用いて、有限標本における第一種誤り制御を達成する逐次検定を定義する。
• 測度の変更による議論を用いて、期待停止時刻および区間幅の境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして混合マルティングルールを精緻化することで、逐次検定の有限標本性能を向上させられるか？
• RQ2 期待標本サイズを最小化しつつ第一種誤り制御を維持するための、パrameter空間上での最適な事前分布は何か？
• RQ3 混合マルティングルールを体系的に応用することで、逐次設定において保証されたカバレッジを持つ信頼列を構築できるか？
• RQ4 提案手法は、既存の逐次検定および信頼区間技術と比較して、パワーと効率性においてどのように異なるか？
• RQ5 新しい混合構成下での期待標本サイズおよび区間幅の理論的境界は何か？

主な発見

• 提案された混合マルティングルール構成は、古典的手法と比較してよりタイトな信頼区間を達成し、信号対雑音比が中程度の状況では期待幅が20–30%削減される。
• 新しい混合マルティングルールに基づく逐次検定は、オプショナルストップを含む状況でも、名目水準での正確な第一種誤り制御を維持する。
• 特にスパースまたは弱い信号の状況において、競合手法よりも高い統計的パワーを達成する。
• 同じ誤り制約下で、標準的な逐次尤度比検定と比較して、期待標本サイズが顕著に削減され、最大40%の削減が達成される。
• 混合マルティングルールを用いて構築された信頼列は、停止ルールがデータに依存しても、任意の停止時刻において保証されたカバレッジ確率を維持する。
• 尤度比過程における理論的境界が、指数型分布族設定において鋭いことが示され、漸近的近似なしに正確な推論が可能となる。