[論文レビュー] Optimal discovery with probabilistic expert advice: finite time analysis and macroscopic optimality

Sébastien Bubeck, Damien Ernst+1 more|arXiv (Cornell University)|Jul 22, 2012

Advanced Bandit Algorithms Research参考文献 10被引用数 12

ひとこと要約

本稿は、確率的エキスパートアドバイスを用いた最適発見のための楽観的アルゴリズムを提案し、Good-Turingの未発見質量推定器を用いて探索と活用のバランスをとる。弱い仮定のもとで有限時間のレグレットバウンドを確立し、複数のエキスパートを通じて希少で興味深いアイテムを同定する際、漸近的にオラクル方策と一致することを示すことにより、マクロ的最適性を証明する。

ABSTRACT

We consider an original problem that arises from the issue of security analysis of a power system and that we name optimal discovery with probabilistic expert advice. We address it with an algorithm based on the optimistic paradigm and on the Good-Turing missing mass estimator. We prove two different regret bounds on the performance of this algorithm under weak assumptions on the probabilistic experts. Under more restrictive hypotheses, we also prove a macroscopic optimality result, comparing the algorithm both with an oracle strategy and with uniform sampling. Finally, we provide numerical experiments illustrating these theoretical findings.

研究の動機と目的

• 電力システムにおける危険な事象などの希少で興味深い要素（例：危険な事象）を、有限個の確率的エキスパートを用いて迅速に発見する課題に対処すること。
• 各時刻にどのエキスパートを照会するかを適応的に選択する逐次意思決定戦略を設計し、発見可能なユニークな興味深いアイテムの数を最大化すること。
• エキスパート分布に関する最小限の仮定のもとで、有限時間のレグレットバウンドを確立すること。
• 時間の経過に伴い、アルゴリズムの性能が事前に最適な割り当てを知っているオラクル戦略および一様サンプリングと漸近的に一致することを示すことにより、マクロ的最適性を証明すること。

提案手法

• アルゴリズムは楽観的パラダイムを採用し、Good-Turing未発見質量推定器から導かれる上位信頼区間に基づいて、新たな興味深いアイテムをもたらす可能性の高いエキスパートを選択する。
• 各エキスパートからの未発見要素の発見確率を、未発見要素のサポート上での合計確率質量を推定する未発見質量推定器を用いてモデル化する。
• 過去の観測に基づいて、未発見質量の推定値が高く不確実性が低いエキスパートに、動的に描画を割り当てる戦略を採用する。
• マクロ的最適性のため、大規模な時間枠の極限において、期待未発見質量を最小化するようにエキスパート間の描画割り当てを最適化する閉形式解を導出する。
• 期待未発見質量を最小化する制約付き凸最適化問題を解くことで最適割り当てを決定し、その解はエキスパート確率の幾何平均と総時間枠に依存する。
• アルゴリズムが発見する興味深いアイテムの割合が、エキスパート確率と時間の関数として収束することを示し、最適戦略が未発見質量の閾値関数の逆関数と一致することを確立する。

実験結果

リサーチクエスチョン

• RQ1 エキスパート分布に関する弱い仮定のもとで、確率的エキスパートアドバイスを用いた最適発見のための楽観的アルゴリズムの有限時間のレグレット性能はいかほどか？
• RQ2 本稿で提案するアルゴリズムは、希少事象の発見効率において一様サンプリングと比較してどのように異なるか？
• RQ3 アルゴリズムはマクロ的最適性を達成できるか、すなわち、事前に最適な描画割り当てを知っているオラクルの性能と漸近的に一致するか？
• RQ4 漸近的状態におけるエキスパート間の最適描画割り当ての構造は何か、またエキスパート確率にどのように依存するか？
• RQ5 Good-Turing未発見質量推定器は、この逐次的発見問題における探索と活用のバランスをどのように果たすか？

主な発見

• エキスパート分布に関する弱い仮定のもとで、アルゴリズムはO(log t)のスケーリングを示す有限時間のレグレットバウンドを達成し、時間の経過に伴い効率的な学習が保証される。
• より制限的な仮定のもとで、アルゴリズムはマクロ的に最適である：期待される発見された興味深いアイテムの割合が、事前に最適な割り当てを知っているオラクル方策と同一の極限に収束する。
• 漸近的状態におけるエキスパート間の最適描画割り当ては、上位I(t)個のエキスパートのサブセットを選択することで決定され、I(t)は時間枠tとエキスパート確率の幾何平均に依存する。
• 最適未発見質量は、r*(t) = I(t) * q̲_I(t) * exp(-t/I(t)) + sum_{i>I(t)} q_i で与えられ、ここでq̲_I(t)は上位I(t)個のエキスパートの確率の幾何平均である。
• 最適なアクティブエキスパート数I(t)が変化する閾値時刻t_iは、方程式 q_i + (i-1)q̲_{i-1}exp(-t_i/(i-1)) = i q̲_i exp(-t_i/i) で特徴づけられ、異なる最適構成間のスイッチングポイントを定義する。
• アルゴリズムが発見するアイテムの割合は、sum_{i=1}^K (q_i - Λ(t))_+ に収束し、ここでΛ(t) = q̲_I(t) exp(-t/I(t)) は未発見質量閾値関数T(λ)の逆関数である。これにより、未発見質量と発見速度の明確な関係が確立される。