[論文レビュー] Optimal Confidence Regions for the Multinomial Parameter

Matthew Malloy, Ardhendu Tripathy+1 more|arXiv (Cornell University)|Feb 3, 2020

Advanced Bandit Algorithms Research参考文献 23被引用数 6

ひとこと要約

本稿では、k-カテゴリー分布へのClopper-Pearson区間の一般化により、多項分布パラメータの最小体積信頼領域を提案する。尾確率のレベル集合逆引きを用いて、真のパrameter $\boldsymbol{p}$ に対して正確な被覆を保証する。この手法により、平均などの線形関数に対するより緊密な信頼区間が得られ、適応学習アルゴリズムにおけるサンプル数を数倍まで削減可能である。

ABSTRACT

Construction of tight confidence regions and intervals is central to statistical inference and decision making. This paper develops new theory showing minimum average volume confidence regions for categorical data. More precisely, consider an empirical distribution $\widehat{\boldsymbol{p}}$ generated from $n$ iid realizations of a random variable that takes one of $k$ possible values according to an unknown distribution $\boldsymbol{p}$. This is analogous to a single draw from a multinomial distribution. A confidence region is a subset of the probability simplex that depends on $\widehat{\boldsymbol{p}}$ and contains the unknown $\boldsymbol{p}$ with a specified confidence. This paper shows how one can construct minimum average volume confidence regions, answering a long standing question. We also show the optimality of the regions directly translates to optimal confidence intervals of linear functionals such as the mean, implying sample complexity and regret improvements for adaptive machine learning algorithms.

研究の動機と目的

• 保証された被覆と最小体積を備えた多項分布に対する信頼領域を構築するという、長年の未解決問題を解決すること。
• Clopper-Pearsonの正確区間法を $k > 2$ カテゴリに拡張し、多項単体へ一般化すること。
• 最小体積信頼領域が平均などの線形関数に対する最適（最短）信頼区間をもたらすことを示すこと。
• よりタイトな信頼境界を活用することで、適応学習アルゴリズムにおけるサンプル複雑度と後悔を低減すること。
• p-値とKullback-Leibler発散の近似を用いた計算可能で実用的な領域構築手法を提供すること。

提案手法

• 真のパrameter $\boldsymbol{p}$ に対して正確な被覆を保証するため、尾確率の逆引きにレベル集合法を用いて信頼領域を構築する。
• 観測された経験的分布 $\widehat{\boldsymbol{p}}$ が有意水準 $1 - \delta$ で統計的に有意でないパラメータ $\boldsymbol{p}$ の集合として信頼領域を定義する。
• 任意の信頼領域が集合写像の逆引きとして表現可能であり、レベル集合構築法がこのクラスで最小であることを示すことにより最適性を証明する。
• 平均体積基準を定義するために、一様事前分布または経験的結果の平均化を用い、最小平均体積を最適性基準として確立する。
• 計算を高速化するために、$\chi^2$ 検定のp-値とKullback-Leibler発散の境界を用いた計算効率の良い近似を導出する。
• 平均などの線形関数の信頼区間を、Hoeffding、Bernstein、KLに基づく境界と比較して、より緊密であることを示す。

実験結果

リサーチクエスチョン

• RQ1 保証された被覆を満たす信頼領域を、平均体積が最小となるように構築できるか？
• RQ2 Clopper-Pearsonの拡張であるレベル集合法は、すべての可能な経験的結果に対して平均体積の観点で最適か？
• RQ3 多項分布パラメータに対する最小体積信頼領域は、平均などの線形関数の信頼区間を、既存の境界と比較して短くできるか？
• RQ4 これらの最適信頼領域は、多腕バンディットなどの逐次学習アルゴリズムにおけるサンプル複雑度や後悔を低減できるか？
• RQ5 中程度の $n$ および $k$ に対して、最小体積信頼領域の構築を現実可能にする計算戦略は何か？

主な発見

• レベル集合信頼領域は、被覆保証を満たすすべての信頼領域構築法の中で最小平均体積を達成し、最適性を有する。
• 真の分布が非対称な場合に顕著に、提案手法の平均体積はHoeffding、Bernstein、KLに基づく境界よりも厳密に小さい。
• これらの領域から導かれる平均の信頼区間は、経験的BernsteinやChernoff境界を含む、既知のあらゆる構成より平均的に短い。
• 5つの3カテゴリー腕を有する最良腕同定実験では、ベースラインの信頼境界と比較して、停止時間が数倍短縮された。
• とくに分散が小さい場合に顕著に、所望の信頼区間幅を達成するためのサンプル数が、最大数倍まで削減された。
• カイ二乗検定のp-値とKL発散の境界の使用により、理論的被覆保証を維持したまま、効率的な計算が可能になった。