[論文レビュー] L-Divergence Consistency for a Discrete Prior

Marian Grendár|ArXiv.org|Oct 27, 2006

Computability, Logic, AI Algorithms参考文献 5被引用数 4

ひとこと要約

本稿は、可算な連続的データ抽出密度の集合上の離散的事前分布について、L-発散度における事後分布のほとんど確実な一致性を確立する。事後分布は、真の分布のモデル集合上でのL射影に集中し、複数のL射影が存在する場合には、それらに等しい漸近的確率質量が分配される。

ABSTRACT

Posterior distribution over a countable set M of continuous data-sampling distributions piles up at L-projection of the true distribution r on M, provided that the L-projection is unique. If there are several L-projections of r on M, then the posterior probability splits among them equally.

研究の動機と目的

• 可算なモデル集合における連続的密度の離散的事前分布について、L-発散度におけるほとんど確実な事後一貫性を確立すること。
• 真の分布がモデル集合に含まれない場合（不適合）における事後集中行動を調査すること。
• 真の分布の複数のL射影が存在する場合に、事後確率がどのように漸近的に分配されるかを特定すること。
• 一般条件（不適合を含む）の下で、大偏差に基づく事後一貫性の証明を提供すること。
• L-発散度とL射影がベイズ非パラメトリック一貫性において果たす役割を拡張し、明確化すること。

提案手法

• 事後確率の漸近的挙動を分析するため、大偏差アプローチを用いる。
• L-ST（ソースのサナフの定理）を適用して、モデル集合の部分集合における事後確率の指数的減少率を導出する。
• L-発散度を $ L(q||p) = -\int p \log q $ と定義し、L射影を $ \hat{q} = \arg\min_{q \in \mathcal{Q}} L(q||p) $ と定義する。
• ほとんど確実に $ \frac{1}{n} \log \pi(q \in \mathcal{N} \mid x^n) $ が $ -\{ L(\mathcal{N}||r) - L(\mathcal{M}^e||r) \} $ に収束することを確立する。
• Markovの不等式とSlutskyの定理を用いて、L射影の近傍における事後質量の極限挙動を分析する。
• 等濃度の概念を導入：複数のL射影が存在する場合、事後分布は各L射影に等しい漸近的確率を割り当てる。

実験結果

リサーチクエスチョン

• RQ1 L-発散度における真の分布のL射影に、事後分布が集中する条件は何か？
• RQ2 真の分布がモデル集合に含まれない場合（不適合）に、事後分布はどのように振る舞うか？
• RQ3 真の分布のL射影が複数存在する場合、事後分布はどのように変化するか？
• RQ4 複数のL射影にわたる事後確率の漸近的分布は、どのように特徴付けられるか？
• RQ5 真の分布がモデル集合に含まれない場合（不適合）であっても、正の離散的事前分布のもとで、L-発散度における事後一貫性は保証されるか？

主な発見

• 事後分布はL-発散度においてほとんど確実に一貫している：真の分布 $ r $ のモデル集合 $ \mathcal{M}^e $ 上のL射影に集中する。
• もし $ r $ の $ \mathcal{M}^e $ 上のL射影が一意に定まるならば、事後分布はその点に完全に集中する。
• もし $ r $ の $ \mathcal{M}^e $ 上に $ k $ 個の異なるL射影が存在するならば、事後分布は各L射影に漸近的に等しい確率 $ \frac{1}{k} $ を割り当てる。
• この結果は、$ r \notin \mathcal{M}^e $ である、つまりモデル不適合の下でも成り立つ。
• 事後確率の収束速度は、L-ST（ソースのサナフの定理）によって特徴付けられ、減少率はL-発散度の値の差に依存する。
• 証明は大偏差技術に依拠しており、先行研究で用いられたマルティンゲール手法を避けており、一貫性の導出をより単純かつ直接的に行っている。