[論文レビュー] Prediction with Advice of Unknown Number of Experts

Alexey Chernov, Vladimir Vovk|arXiv (Cornell University)|Jun 2, 2010

Advanced Bandit Algorithms Research参考文献 4被引用数 4

ひとこと要約

本稿は、名目的な専門家数に依存せず、有効な専門家の数にのみ依存する、オンライン予測における専門家アドバイスのための新しいレギュレートバウンドを導入する。防御的予測と、多値型のスーパーマルティンゲールの新クラスを用いて、$ L_T \leq L_\epsilon^T + 2\sqrt{T \ln(1/\epsilon)} + 7\sqrt{T} $ というバウンドを導出し、これは一様に有効であり、専門家の総数に依存しない。これにより、$ \mathcal{O}(\ln^2 N) $ 項を含む従来のバウンド（例：NormalHedge）を改善する。

ABSTRACT

In the framework of prediction with expert advice, we consider a recently introduced kind of regret bounds: the bounds that depend on the effective instead of nominal number of experts. In contrast to the NormalHedge bound, which mainly depends on the effective number of experts and also weakly depends on the nominal one, we obtain a bound that does not contain the nominal number of experts at all. We use the defensive forecasting method and introduce an application of defensive forecasting to multivalued supermartingales.

研究の動機と目的

• オンライン予測における専門家アドバイスのレギュレートバウンドを、名目的な数ではなく有効な専門家の数にのみ依存する形で開発すること。
• 従来のバウンド（例：NormalHedge）に含まれる、専門家の総数 $ N $ に依存する $ \mathcal{O}(\ln^2 N) $ 項を排除すること。
• オンライン学習における防御的予測のための新ツールとして、多値型スーパーマルティンゲールを導入・分析すること。
• 内部レギュレートおよび混合損失関数を伴う多目的予測設定へ、このバウンドを拡張すること。

提案手法

• 標準的なスーパーマルティンゲールの一般化である多値型スーパーマルティンゲールの概念を導入し、複数の専門家タイプにわたるレギュレートをモデル化する。
• ホエーディング型の集中不等式と、$ \epsilon $-分位数専門家からの逸脱に対する対数ペナルティを組み込んだ、特別に構築されたスーパーマルティンゲールに防御的予測を適用する。
• $ \eta \in (0, 1/e] $ でパラメータ化された連続的なスーパーマルティンゲールの族を用い、$ \eta $ について統合することで一様性とロバストネスを確保する。
• スーパーマルティンゲールの期待成長を解析し、多値型スーパーマルティンゲールの有界性結果（補題2および補題3）を適用することで損失バウンドを導出する。
• 行動固有の損失からの逸脱を追跡するようにスーパーマルティンゲールを変更することで、内部レギュレートに対応するフレームワークを適応させる。
• Brier損失（二乗）と絶対損失（分類誤差）を同時に制御するための共同スーパーマルティンゲールを用いて、トロイ・マルチオブジェクティブアルゴリズムを構築する。

実験結果

リサーチクエスチョン

• RQ1 名目的な専門家の総数に依存せず、有効な専門家の数にのみ依存するレギュレートバウンドを導出可能か？
• RQ2 防御的予測を、より複雑なレギュレート構造に対応する多値型スーパーマルティンゲールへ拡張できるか？
• RQ3 新バウンドを内部レギュレートおよび混合損失関数を伴う多目的予測設定に適応可能か？
• RQ4 $ N $ および $ \epsilon $ に依存する点で、従来のバウンド（例：NormalHedge）に比べて定量的にどの程度改善されるか？

主な発見

• 本稿は、新たなレギュレートバウンド $ L_T \leq L_\epsilon^T + 2\sqrt{T \ln(1/\epsilon)} + 7\sqrt{T} $ を確立した。このバウンドは、有効な専門家の数 $ 1/\epsilon $ にのみ依存し、名目的な数 $ N $ には依存しない。
• このバウンドはすべての $ T $ および $ \epsilon $ に対して一様に有効であり、アルゴリズムがこれらの値を事前に知る必要がない。
• このバウンドは、専門家の総数に依存する $ \mathcal{O}(\ln^2 N) $ 項を排除することで、NormalHedgeアルゴリズムを改善する。
• 本手法は、多値型スーパーマルティンゲールを導入し、その有界性を証明するという、新たなツールを提供する。これにより、新バウンドの導出が可能になった。
• フレームワークは内部レギュレートに対しても成功裏に拡張され、主結果の構造を再現するバウンドが得られた。
• Brier損失と絶対損失の両方のバウンドを同時に保証するトロイのアルゴリズムが構築され、このアプローチの柔軟性が示された。