[論文レビュー] General Loss Bounds for Universal Sequence Prediction

Marcus Hütter|arXiv (Cornell University)|Jan 21, 2001

Computability, Logic, AI Algorithms参考文献 16被引用数 11

ひとこと要約

本稿は、ソロモンoffの普遍的インダクションを予測誤差以外の一般化された損失関数および予測設定へと拡張し、真の分布μを用いた最適なインフォームド予測子の性能に近い性能を達成する重み付き分布混合（ξ）に基づく普遍的予測子が、損失をO(√Lμ)の範囲で上回ることを証明している。主な結果は、真の分布を事前に知らない状況下でも、普遍的予測が漸近的に可能な最良の性能に一致することを示しており、相対エントロピーの観点から、収束がきわめてタイトな確率的ゲームにおいても成り立つ。

ABSTRACT

The Bayesian framework is ideally suited for induction problems. The probability of observing $x_t$ at time $t$, given past observations $x_1...x_{t-1}$ can be computed with Bayes' rule if the true distribution $μ$ of the sequences $x_1x_2x_3...$ is known. The problem, however, is that in many cases one does not even have a reasonable estimate of the true distribution. In order to overcome this problem a universal distribution $ξ$ is defined as a weighted sum of distributions $μ_i\inM$, where $M$ is any countable set of distributions including $μ$. This is a generalization of Solomonoff induction, in which $M$ is the set of all enumerable semi-measures. Systems which predict $y_t$, given $x_1...x_{t-1}$ and which receive loss $l_{x_t y_t}$ if $x_t$ is the true next symbol of the sequence are considered. It is proven that using the universal $ξ$ as a prior is nearly as good as using the unknown true distribution $μ$. Furthermore, games of chance, defined as a sequence of bets, observations, and rewards are studied. The time needed to reach the winning zone is bounded in terms of the relative entropy of $μ$ and $ξ$. Extensions to arbitrary alphabets, partial and delayed prediction, and more active systems are discussed.

研究の動機と目的

• 予測誤差を超える一般損失関数へのソロモンoffの普遍的インダクションの拡張。
• 真の分布μが未知である場合の普遍的予測の性能に対する理論的バウンドの確立。
• 真の分布μを用いたインフォームド予測子とほぼ同等の性能を達成できる、ξを用いた普遍的予測子の提示。
• 確率的ゲームにおける利益獲得までの時間の分析。
• アルファベットの任意性、部分的・遅延予測、およびアクティブシステムへのフレームワークの一般化。

提案手法

• 真の分布μを含む可算集合Mの分布の重み付き和として普遍的事前分布ξを定義する。
• Bayesの定理を用いて、ξを用いた予測における条件付き確率P(x_t | x_{<t})を計算する。
• ξおよびμの下で期待損失を最小化する予測スキームΛ_ξおよびΛ_μを定式化する。
• L_ξ ≤ L_μ + O(√L_μ)という損失バウンドを証明し、L_ξおよびL_μはそれぞれξおよびμの下での総損失を表す。
• 損失バウンドを確率的ゲームに適用し、平均的利益差p̄_nΛ_ξ − p̄_nΛ_μ = O(n^{-1/2})であることを示す。
• 利益獲得までの時間のバウンドを、相対エントロピーD(μ||ξ) ≤ ln(1/w_μ)の観点から導出する。

実験結果

リサーチクエスチョン

• RQ1 一般損失関数の下で、ベイジアン混合ξに基づく普遍的予測は、真の分布μを用いたインフォームド予測子の性能に近づけるか？
• RQ2 総損失L_μの観点から、普遍的予測子Λ_ξの損失は最適インフォームド予測子Λ_μの損失とどのように比較されるか？
• RQ3 確率的ゲームにおいて、普遍的予測子が利益獲得の領域に到達するまでの時間は何か？ また、μとξの相対エントロピーにどのように依存するか？
• RQ4 このフレームワークは、任意のアルファベット、部分的または遅延予測、およびアクティブシステムへと拡張可能か？
• RQ5 普遍的予測子の性能は、加重多数派法のような既存のアルゴリズムとどのように関係するか？

主な発見

• 普遍的予測子Λ_ξの総損失は、最適インフォームド予測子Λ_μの総損失にO(√L_μ)を加えたものでバウンドされ、近似的最適性が証明された。
• 確率的ゲームにおいて、Λ_ξの平均的利益は、Λ_μにO(n^{-1/2})の速度で収束し、どのスキームが利益を上げられるかにかかわらず、漸近的に利益を得られることを保証する。
• 確率的ゲームにおける利益獲得までの時間は、相対エントロピーD(μ||ξ)の関数によって下界が与えられ、均一重みの下では最大でln(1/w_μ)である。
• 本フレームワークは、予測誤差に限らない一般損失関数と任意の確率的クラスMを許容することで、ソロモンoffインダクションを一般化している。
• 損失バウンドの構造は加重多数派アルゴリズムに類似しているが、専らエキスパートではなく、環境全体にわたる普遍的ベイジアン予測に適用される。
• 収束時間の情報理論的解釈が示唆されており、真の分布の複雑さ（w_μを介して）と性能の関係が示されている。