[論文レビュー] Levy Measure Decompositions for the Beta and Gamma Processes

Yingjian Wang, Lawrence Carin|arXiv (Cornell University)|Jun 18, 2012

Bayesian Methods and Mixture Models参考文献 15被引用数 4

ひとこと要約

本稿では、良好な（適切な）ベータ分布およびガンマ分布を用いた、ベータ過程およびガンマ過程のLévy測度の新たな無限級数分解を提案する。これらの級数を切り詰めることで、著者らは切り詰め誤差を明示的に特定し、両過程にわたる構造的洞察を統一し、機械学習応用における厳密な基礎を提供する。

ABSTRACT

We develop new representations for the Levy measures of the beta and gamma processes. These representations are manifested in terms of an infinite sum of well-behaved (proper) beta and gamma distributions. Further, we demonstrate how these infinite sums may be truncated in practice, and explicitly characterize truncation errors. We also perform an analysis of the characteristics of posterior distributions, based on the proposed decompositions. The decompositions provide new insights into the beta and gamma processes (and their generalizations), and we demonstrate how the proposed representation unifies some properties of the two. This paper is meant to provide a rigorous foundation for and new perspectives on Levy processes, as these are of increasing importance in machine learning.

研究の動機と目的

• ベータ過程およびガンマ過程のLévy測度の厳密で取り扱いやすい表現の開発。
• 共通の分解フレームワークを通じて、ベータ過程およびガンマ過程の構造的性質を統一すること。
• 明示的な切り詰め誤差の特徴付けにより、実用的計算を可能とすること。
• 新しい分解に基づく事後分布の特性分析を通じて、ベイズ非パラメトリックモデルにおける事後確率推論を支援すること。
• 機械学習におけるLévy過程の増加する使用を支える理論的基盤を構築すること。

提案手法

• ベータ過程のLévy測度を、適切に正規化されたベータ分布の無限和として表現する。
• ガンマ過程のLévy測度を、適切に正規化されたガンマ分布の無限和として表現する。
• 無限級数を有限和で近似する際の切り詰め誤差の閉形式表現を導出する。
• 分解を用いて、ベイズ非パラメトリックモデルにおける事後分布の挙動を分析する。
• 新しい表現下で共通する構造的性質を示すことにより、ベータ過程とガンマ過程の間の関係を確立する。
• 級数の収束性を活用して、実装における数値的安定性と正確性を保証する。

実験結果

リサーチクエスチョン

• RQ1 ベータ過程およびガンマ過程のLévy測度は、良好な分布の無限和としてどのように表現できるか？
• RQ2 これらの無限級数を有限和で近似する際の切り詰め誤差は何か？
• RQ3 提案された分解は、ベータ過程およびガンマ過程の性質をどのように統一するか？
• RQ4 これらの分解は、ベイズ非パラメトリックモデルにおける事後確率推論にどのような意味を持つか？
• RQ5 これらの表現は、保証された誤差バウンドを伴って、機械学習に実際にどのように応用できるか？

主な発見

• ベータ過程のLévy測度は、適切なベータ分布の無限和として表現され、安定的かつ解釈可能な近似が可能になる。
• ガンマ過程のLévy測度も同様に、適切なガンマ分布の無限和に分解される。
• 級数の切り詰めにより、明示的かつ定量的な誤差バウンドが得られ、実用的実装が容易になる。
• 分解により、ベータ過程とガンマ過程の間の深い構造的類似性が明らかになり、共通の数学的枠組みの下でその性質が統一される。
• 新しい分解に基づく事後分布は、well-characterized（よく特徴づけられた）挙動を示し、非パラメトリックベイズモデルにおける頑健な推論を支援する。
• このフレームワークは、特にベイズ非パラメトリクス分野においてLévy過程を用いることの理論的基盤を厳密に提供する。