[論文レビュー] Optimal Learning from the Doob-Dynkin lemma

Gunnar Taraldsen|arXiv (Cornell University)|Jan 3, 2018

Statistical Mechanics and Entropy参考文献 14被引用数 15

ひとこと要約

本稿は、位相的および可測的設定におけるドーブ＝ディンキンの補題の一般化版を確立し、$T_0$ もしくは $T_1$ 分離公理および可測性条件のもとで、$X = \phi(Y)$ を満たす可測関数 $\phi$ の存在および一意性を証明する。主な貢献は、この補題を最適統計的学習と結びつけ、ベイズ事後リスクの最小化により $\phi(y) = \mathbb{E}^y[\psi(\Theta)]$ が、不適切な事前分布や無限次元データを含むモデルですら最適な学習ルールをもたらすことを示したことである。

ABSTRACT

The Doob-Dynkin Lemma gives conditions on two functions $X$ and $Y$ that ensure existence of a function $ϕ$ so that $X = ϕ \circ Y$. This communication proves different versions of the Doob-Dynkin Lemma, and shows how it is related to optimal statistical learning algorithms. Keywords and phrases: Improper prior, Descriptive set theory, Conditional Monte Carlo, Fiducial, Machine learning, Complex data.

研究の動機と目的

• 位相空間および可測空間へのドーブ＝ディンキンの補題の一般化を、最小限の分離公理（$T_0$ または $T_1$）を用いて行い、$X = \phi(Y)$ を満たす $\phi$ の存在および一意性を保証すること。
• ドーブ＝ディンキンの補題と最適統計的学習との関係を確立し、特に条件付き期待値と意思決定理論の文脈において考察すること。
• 全体のベイズリスクが無限大であっても、ベイズ事後リスク $r^y = \mathbb{E}(\|\psi(\Theta) - \phi(y)\|^2 \mid Y = y)$ を最小化することで最適な学習ルールが得られることを示すこと。
• 不適切な事前分布や無限次元データ（例：カルマン＝ブチャットフィルタ）を含むモデルにおいて、最適な意思決定ルール $\phi(y) = \mathbb{E}^y[\psi(\Theta)]$ が適切に定義され、最適であることを示すこと。

提案手法

• 位相空間間の連続関数に対して、$X(\Omega)$ が $T_0$ であり、$X$ が $Y$ の初期位相に関して連続であると仮定して、位相的ドーブ＝ディンキンの補題を証明する。
• 可測関数に対して、可測的ドーブ＝ディンキンの補題を確立する。$X(\Omega)$ が $T_1$ であり、$X$ が $Y$ の初期 $\sigma$-代数に関して可測であると仮定する。
• $\sigma$-有限測度空間へ補題を拡張し、不適切な事前分布やレニー空間を許容する。さらに、$\Gamma: \Omega \to [0,\infty]$ に対して、条件付き期待値形の補題を導出する。
• 得られた $\phi$ を用いて、事後リスク最小化により最適な学習ルールを定義し、$\phi(y) = \mathbb{E}^y[\psi(\Theta)]$ が $r^y = \mathbb{E}(\|\psi(\Theta) - \phi(y)\|^2 \mid Y = y)$ を最小化する解であることを示す。
• カルマン＝ブチャットフィルタにこの枠組みを適用し、$\Gamma_t$ の最適推定が $\phi(Y) = \mathbb{E}(\Gamma_t \mid Y)$ で与えられることを示す。ここで $Y$ は時刻 $t$ までの観測経路を表す。
• 全体のベイズリスクが無限大であっても、事後リスク最小化は全ベイズリスク最小化よりも広く適用可能であり、有限で最適なルールを生成できることを示す。

実験結果

リサーチクエスチョン

• RQ1 可測写像 $X$ および $Y$ が与えられたとき、$X = \phi(Y)$ を満たす関数 $\phi$ が存在するための位相的および可測的条件は何か？
• RQ2 不適切な事前分布が存在する状況において、ドーブ＝ディンキンの補題は最適統計的学習および意思決定ルールとどのように関係するか？
• RQ3 全体のベイズリスクが無限大であっても、事後リスク $r^y = \mathbb{E}(\|\psi(\Theta) - \phi(y)\|^2 \mid Y = y)$ を最小化することで最適な学習ルールが得られるか？
• RQ4 カルマン＝ブチャットフィルタのような無限次元モデルにおいて、ドーブ＝ディンキンの補題は最適推定器を導出するためにどのように利用できるか？
• RQ5 最適ベイズ事後ルールと最適頻度的推論の関係は何か？特に、不偏推定量や不変推定量が存在しない場合にどうなるか？

主な発見

• 位相的ドーブ＝ディンキンの補題が証明された：$X(\Omega)$ が $T_0$ であり、$X$ が $Y$ の初期位相に関して連続であれば、$X = \phi(Y)$ を満たす一意な連続関数 $\phi: Y(\Omega) \to \Omega_X$ が存在する。
• 可測的ドーブ＝ディンキンの補題が確立された：$X(\Omega)$ が $T_1$ であり、$X$ が $Y$ の初期 $\sigma$-代数に関して可測であれば、$X = \phi(Y)$ を満たす一意な可測関数 $\phi: Y(\Omega) \to \Omega_X$ が存在する。
• 最適な学習ルールは $\phi(y) = \mathbb{E}^y[\psi(\Theta)]$ で与えられ、これは各 $y$ に対して事後リスク $r^y = \mathbb{E}(\|\psi(\Theta) - \phi(y)\|^2 \mid Y = y)$ を最小化する。
• 平坦な事前分布を伴う正規位置モデルでは、$\phi(y) = y$ が最適であり、事後リスク $r^y = 1$ を与えるが、不適切な事前分布のため全体のベイズリスクは無限大である。
• この枠組みは、カルマン＝ブチャットフィルタのような無限次元モデルにも適用可能であり、$\Gamma_t = \mathbb{E}(\Gamma_t \mid Y)$ が観測経路 $Y_s$（$0 \leq s \leq t$）に基づく最適推定である。
• 事後リスク最小化は、全ベイズリスク最小化よりも広く適用可能であり、ベイズリスクが無限大であっても有限で最適なルールを生成できることから、最適学習の強固な基盤を提供する。