[論文レビュー] On Finding Predictors for Arbitrary Families of Processes

Daniil Ryabko|arXiv (Cornell University)|Dec 24, 2009

Computability, Logic, AI Algorithms参考文献 16被引用数 3

ひとこと要約

本稿は、任意の確率過程の族 𝒞 に対して、真の測度 μ に全変動距離で収束する普遍予測子が存在するならば、離散事前分布を備えたベイズ予測子も存在し、同じ性能を達成できることを確立している。主な貢献は、このような予測子が存在するための条件の同定であり、存在性が族 𝒞 の位相的および局所的性質に還元されることを示しており、容量が部分線形に増加する場合にはチャネル容量解析やNMLに基づく手法を用いて予測子を構築可能であることを示している。

ABSTRACT

The problem is sequence prediction in the following setting. A sequence $x_1,...,x_n,...$ of discrete-valued observations is generated according to some unknown probabilistic law (measure) $μ$. After observing each outcome, it is required to give the conditional probabilities of the next observation. The measure $μ$ belongs to an arbitrary but known class $C$ of stochastic process measures. We are interested in predictors $ρ$ whose conditional probabilities converge (in some sense) to the "true" $μ$-conditional probabilities if any $μ\in C$ is chosen to generate the sequence. The contribution of this work is in characterizing the families $C$ for which such predictors exist, and in providing a specific and simple form in which to look for a solution. We show that if any predictor works, then there exists a Bayesian predictor, whose prior is discrete, and which works too. We also find several sufficient and necessary conditions for the existence of a predictor, in terms of topological characterizations of the family $C$, as well as in terms of local behaviour of the measures in $C$, which in some cases lead to procedures for constructing such predictors. It should be emphasized that the framework is completely general: the stochastic processes considered are not required to be i.i.d., stationary, or to belong to any parametric or countable family.

研究の動機と目的

• 任意の確率過程の族に対して、普遍予測子が全変動距離で真の測度に収束する条件を同定すること。
• 全変動距離での予測が可能な測度の族 𝒞 を特徴づけること。
• ある予測子が動作するならば、離散事前分布を備えたベイズ予測子も動作することを示すこと。
• 局所的挙動とチャネル容量に基づく、予測子存在の構成的十分条件を提供すること。
• ベイズ予測の適用範囲を可算族やパrametric族を超えて拡張すること。

提案手法

• 測度の族 𝒞 に対して予測子が存在するならば、離散事前分布を備えたベイズ予測子も存在し、すべての μ ∈ 𝒞 に対して全変動距離で予測できることを証明すること。
• 𝒞 の位相的分離可能性を予測子存在の十分条件として用いるが、必要条件ではない。
• 有限の時系列長 n に制限した測度の局所的挙動を分析し、予測子構築のための十分条件を導出すること。
• 特にチャネル容量 C(𝒞ⁿ) を用いて予測子の可能性を評価する情報理論的ツールを適用する：部分線形増加は構築可能性を示唆する。
• チャネル容量が部分線形である場合には、NML（正規化最大尤度）推定値を用いて予測子を構築すること。
• 弱合併と全変動距離収束に関する既知の結果（例：Blackwell-Dubins、Kalai-Lehrer）を活用し、収束のための条件を導出すること。

実験結果

リサーチクエスチョン

• RQ1 確率過程の族 𝒞 に対して、真の測度に全変動距離で収束する普遍予測子が存在する条件は何か？
• RQ2 族 𝒞 に対して普遍予測子が存在するかどうかを、離散事前分布を備えたベイズ予測子の存在に還元できるか？
• RQ3 𝒞 の位相的または局所的構造的性質のうち、予測子存在を保証するものは何か？
• RQ4 チャネル容量 C(𝒞ⁿ) は、族 𝒞 に対する予測子構築の可能性とどのように関係するか？
• RQ5 予測子の構築を、NML推定値や類似の情報理論的量の計算に還元できるか？

主な発見

• ある予測子が族 𝒞 に対して動作するならば、離散事前分布を備えたベイズ予測子も動作するため、一般設定においてベイズ的手法の正当化が得られる。
• 𝒞 の位相的分離可能性は予測子存在の十分条件ではあるが、必要条件ではない。
• チャネル容量 C(𝒞ⁿ) が n に対して部分線形に増加する場合、予測子を構築可能である。これはすべてのi.i.d.ベルヌーイ過程のケースで成立する。
• すべての定常過程の族に対しては、C(𝒞ⁿ) は線形に増加するため、部分線形条件を満たさず、この方法では予測子を構築できない。
• 測度 𝒞 の局所的挙動、特に有限時系列における断片化された分布を通じて、予測子存在の十分条件を導出可能である。
• 本結果は全変動距離以外の指標（例：KL発散）への予測にも拡張可能であるが、本稿では全変動距離に焦点を当て、今後の代替性能指標に関する研究の基盤を提供している。