[論文レビュー] PAC-Bayesian aggregation and multi-armed bandits

Jean-Yves Audibert|arXiv (Cornell University)|Nov 15, 2010

Advanced Bandit Algorithms Research参考文献 114被引用数 13

ひとこと要約

このハビリテーション・リポートは、統計的学習のためのPAC-Bayesianフレームワークを提示し、3つの集合問題（モデル選択、凸型、線形集合）に焦点を当て、マルチアームド・バンディット問題に応用する。重い尾を持つノイズおよび相関のあるノイズ下で、通常最小二乗法を上回る性能を示すミニマックス切断推定器を導入し、高次元的かつ従属的な設定でも顕著なリスク低減を達成する。

ABSTRACT

This habilitation thesis presents several contributions to (1) the PAC-Bayesian analysis of statistical learning, (2) the three aggregation problems: given d functions, how to predict as well as (i) the best of these d functions (model selection type aggregation), (ii) the best convex combination of these d functions, (iii) the best linear combination of these d functions, (3) the multi-armed bandit problems.

研究の動機と目的

• 統計的学習理論における学習アルゴリズムの分析および設計のためのPAC-Bayesian理論的枠組みの構築。
• 過剰リスクの最小化に注目した、モデル選択、凸型、線形集合の3つの集合問題への対処。
• PAC-Bayesian分析を、特に確率的および敵対的設定におけるマルチアームド・バンディット問題に拡張すること。
• 重い尾を持つノイズおよび相関のあるノイズ下でも良好な性能を示す、ロバストな推定器（特にミニマックス切断推定器）の設計。
• 高次元的かつ複雑なデータ設定における提案手法の理論的保証および実証的検証の提供。

提案手法

• PAC-Bayesian境界を用いて、事後分布と事前分布のカルバック・ライブラー発散を活用し、確率的推定器の一般化誤差の保証を導出する。
• 局所化および相対的PAC-Bayesian境界を導入し、2つの推定器のリスクを比較し、改善された一般化境界を導出する。
• プログレッシブ・ミクスチャー則およびミニマックス切断推定器を適用し、特に高次元的かつスパースな設定でタイトなリスク境界を達成する。
• PAC-Bayesian分析と一般化チェイニング技術を組み合わせ、複雑な関数クラスにおけるリスク境界の改善を図る。
• 確率的バンディット問題におけるUCB（上位信頼区間）ポリシーを、分散推定値および経験的ベルンシュタイン不等式を用いて実装する。
• 敵対的バンディット設定におけるEXP3アルゴリズムを、報酬拡大型変種を用いて実装し、理論的学習レートの保証を提供する。

実験結果

リサーチクエスチョン

• RQ1 PAC-Bayesian境界は、タイトなリスク制御を伴うモデル選択、凸型、線形集合問題にどのように適合可能か？
• RQ2 通常最小二乗法と比較して、ミニマックス切断推定器の重い尾を持つノイズおよび相関のあるノイズ下での理論的性能はいかなるものか？
• RQ3 分散推定値および経験的ベルンシュタイン不等式を用いたUCBポリシーは、確率的マルチアームド・バンディット問題におけるレグルト境界をどのように改善するか？
• RQ4 PAC-Bayesian分析と一般化チェイニング手法の組み合わせは、高次元的または複雑な関数空間におけるよりタイトな一般化境界をもたらすか？
• RQ5 ロバストな推定器は、高次元的かつ相関のある、重い尾を持つデータ設定下で、実証的にどの程度の性能を示すか？

主な発見

• 重い尾を持つノイズ（HCC(n=2000,d=2)、標準正規ノイズ）下で、ミニマックス切断推定器は通常最小二乗法よりも顕著にリスクを低減し、平均過剰リスクが0.64(±0.042)を達成する。
• 重い尾を持つノイズ設定（例：TS(n=200,d=2)）下で、ミニマックス切断推定器はOLSを上回り、平均過剰リスクは0.60(±0.042)（ミニマックス）対1.068(±0.067)（OLS）を記録する。
• 高次元的設定（n=2000,d=10）下で、ミニマックス切断推定器はHCCにおいて平均過剰リスク2.98(±0.091)を達成し、OLSの5.17(±0.015)を下回る。
• 独立した共変量（INC）下で、ミニマックス切断推定器はn=1000で、OLSの1.051(±0.067)からミニマックス推定の0.203(±0.013)まで過剰リスクを低減する。
• 重い尾を持つノイズを伴う三角関数級数（TS）設定下で、n=2000でミニマックス推定器は、OLSの1.068(±0.067)から0.098(±0.006)までリスクを低減する。
• 高 leverage かつ外れ値に脆弱な領域において、ミニマックス切断推定器は200件の訓練データのうち最大64件を無視しながらも、優れた性能を維持しており、汚染に対するロバストネスを示している。