[論文レビュー] Competitive on-line learning with a convex loss function

Vladimir Vovk|ArXiv.org|Jun 11, 2005

Advanced Bandit Algorithms Research参考文献 21被引用数 18

ひとこと要約

本稿では、凸損失関数を伴う不確実性下での逐次的意思決定に対して、防御的予測と再生核ヒルベルト空間上での期待損失最小化を用いた、競争的なオンライン学習アルゴリズムを提示する。この研究では、分布に関する仮定なしに、無限次元のベンチマーククラスに拡張することで、先行研究の有限次元から無限次元への一般化を達成し、マスターアルゴリズムの平均損失が、有界ノルムを持つ最良の意思決定ルールの損失をわずかにO(N⁻¹/²)超過することを確立する。

ABSTRACT

We consider the problem of sequential decision making under uncertainty in which the loss caused by a decision depends on the following binary observation. In competitive on-line learning, the goal is to design decision algorithms that are almost as good as the best decision rules in a wide benchmark class, without making any assumptions about the way the observations are generated. However, standard algorithms in this area can only deal with finite-dimensional (often countable) benchmark classes. In this paper we give similar results for decision rules ranging over an arbitrary reproducing kernel Hilbert space. For example, it is shown that for a wide class of loss functions (including the standard square, absolute, and log loss functions) the average loss of the master algorithm, over the first $N$ observations, does not exceed the average loss of the best decision rule with a bounded norm plus $O(N^{-1/2})$. Our proof technique is very different from the standard ones and is based on recent results about defensive forecasting. Given the probabilities produced by a defensive forecasting algorithm, which are known to be well calibrated and to have good resolution in the long run, we use the expected loss minimization principle to find a suitable decision.

研究の動機と目的

• 有限または有限次元のクラスに制限されていた先行研究とは異なり、特に再生核ヒルベルト空間を含む無限次元のベンチマーククラスへの競争的オンライン学習の拡張を目的とする。
• データ生成の確率的モデルを仮定せずに、広範なクラスにおける最良の意思決定ルールに近い性能を達成する意思決定アルゴリズムの開発を目的とする。
• 有界ノルムを持つ最良の意思決定ルールとの平均損失の差に対する理論的リグレットバウンドO(N⁻¹/²)の確立を目的とする。
• 標準的な文献手法とは異なる、防御的予測と期待損失最小化に基づく新しい証明技法の構築を目的とする。
• 二乗損失、絶対損失、対数損失を含むより広範な損失関数への一般化を図り、非二値観測や非凸ゲームへの応用を検討することを目的とする。

提案手法

• 防御的予測を用いて、適切にキャリブレートされ、解像度最適化された確率を生成し、その後それらを用いて期待損失を最小化する。
• 予測された確率に基づいて期待損失最小化の原則を適用し、意思決定ルールを導出し、競争的な性能を保証する。
• 二乗損失、絶対損失、対数損失関数に対して、それぞれの形式を持つ、標準的な選択関数G(p,q)を用いる。
• 第7節で、露出項とカーネル関数を含む方程式系を解くことで意思決定γₙを明示的に計算する意思決定アルゴリズムを導出する。
• 損失関数と確率的予測下での期待値を結びつける基本的恒等式(23)を用い、損失最小化戦略の構築を可能にする。
• 第6節で、防御的予測の結果に基づく、i.i.d.データや有限なベンチマーククラスを仮定しない新しい証明フレームワークを用いて、O(N⁻¹/²)のリグレットバウンドを確立する。

実験結果

リサーチクエスチョン

• RQ1 再生核ヒルベルト空間のような無限次元のベンチマーククラスへ、競争的オンライン学習を拡張することは可能か？
• RQ2 データ生成プロセスに関する仮定なしに、凸損失関数を伴うオンライン意思決定において、最適なリグレットバウンドは何か？
• RQ3 防御的予測を期待損失最小化と統合することで、競争的な意思決定アルゴリズムを構築するにはどうすればよいか？
• RQ4 このようなアルゴリズムに対してO(N⁻¹/²)のリグレットバウンドはタイトか？また、非二値または多クラス観測設定へ一般化可能か？
• RQ5 非凸または非連続な意思決定空間では、現在のアプローチにどのような限界があるのか？また、ランダム化はそのような状況でどのように役立つか？

主な発見

• 最初のN回の観測におけるマスターアルゴリズムの平均損失は、有界ノルムを持つ最良の意思決定ルールの平均損失を、たかだかO(N⁻¹/²)を超えるにとどまる。
• 二乗損失、絶対損失、対数損失を含む広範な凸損失関数に対して、データ生成プロセスに関する仮定なしに、このリグレットバウンドが成り立つ。
• 本稿で提案するアルゴリズムは、標準的手法とは異なる、防御的予測と期待損失最小化の新規な組み合わせにより、この性能保証を達成する。
• 意思決定アルゴリズムは第7節で明示的に構築されており、カーネル評価と露出項を含む関数の根を求めることによる手続きが用いられる。
• 証明は、損失関数と確率的予測下での期待値を結びつける基本的恒等式(23)に依存しており、これによりリグレットバウンドの導出が可能になる。
• この枠組みは、非二値観測や非凸ゲームへの拡張を可能とし、単純損失ゲームのような状況における同点処理のためのランダム化が有効であることが示されている。