[論文レビュー] The Mondrian Process for Machine Learning

Matej Balog, Yee Whye Teh|arXiv (Cornell University)|Jul 18, 2015

Gaussian Processes and Bayesian Inference参考文献 13被引用数 4

ひとこと要約

本稿は、競合する指数型確率変数の確率的挙動を分析し、最小値（W）、最大値（Z）、およびそれらの差（O）の同時分布に加え、どの変数が小さいかを示す指標 M の分布を導出する。W と (M,O) が独立であり、M が W と独立であることが示され、M はベルヌーイ分布に従い、W は指数分布に従う。

ABSTRACT

This report is concerned with the Mondrian process and its applications in machine learning. The Mondrian process is a guillotine-partition-valued stochastic process that possesses an elegant self-consistency property. The first part of the report uses simple concepts from applied probability to define the Mondrian process and explore its properties. The Mondrian process has been used as the main building block of a clever online random forest classification algorithm that turns out to be equivalent to its batch counterpart. We outline a slight adaptation of this algorithm to regression, as the remainder of the report uses regression as a case study of how Mondrian processes can be utilized in machine learning. In particular, the Mondrian process will be used to construct a fast approximation to the computationally expensive kernel ridge regression problem with a Laplace kernel. The complexity of random guillotine partitions generated by a Mondrian process and hence the complexity of the resulting regression models is controlled by a lifetime hyperparameter. It turns out that these models can be efficiently trained and evaluated for all lifetimes in a given range at once, without needing to retrain them from scratch for each lifetime value. This leads to an efficient procedure for determining the right model complexity for a dataset at hand. The limitation of having a single lifetime hyperparameter will motivate the final Mondrian grid model, in which each input dimension is endowed with its own lifetime parameter. In this model we preserve the property that its hyperparameters can be tweaked without needing to retrain the modified model from scratch.

研究の動機と目的

• 2つの独立な指数型確率変数のうち、小さい方の変数を示す指標の最小値、最大値、およびその同時分布を特定すること。
• W = min{X,Y}、M = 1_{X≤Y}、O = |X−Y| の周辺分布および同時分布を特定すること。
• W とペア (M,O) の間、および W と M の間の確率的独立性を証明すること。
• P(W ≤ w, M = 1, O ≤ t) などの重要な確率を計算し、補数の場合の対称性を検証すること。

提案手法

• 指数分布の無記憶性を用いて、P(M = 1) を X の値で条件づけて計算する。
• X ~ Exp(λ), Y ~ Exp(μ) で X, Y が独立のとき、min{X,Y} ~ Exp(λ + μ) であるという事実を利用する。
• P(W > s) = exp(−(λ + μ)s) を導出し、W の分布を特定する。
• W ≤ w, M = 1, O ≤ t の同時事象を X と Y を用いて表現するため、X で条件づけ、独立性を適用する。
• P(Y ≥ x) = exp(−μx) を用いて、x ∈ [s, ∞) における積分により P(W ≤ w, M = 1, O ≤ t) を計算する。
• P(W ≤ w, M = 1) = P(W ≤ w)P(M = 1) を示すことにより、独立性を検証する。

実験結果

リサーチクエスチョン

• RQ1 X と Y がそれぞれパラメータ λ と μ を持つ独立な指数型確率変数であるとき、W = min{X,Y} の分布は何か？
• RQ2 X ≤ Y である確率、すなわち P(M = 1) は何か？ また、M の分布は何か？
• RQ3 {W > s} と {M = 1} の2つの事象は確率的に独立か？ その証明は？
• RQ4 P(W ≤ w, M = 1, O ≤ t) の同時確率は何か？ また、周辺分布とはどのように関係するか？
• RQ5 W と (M,O) は独立か？ その根拠は何か？

主な発見

• W = min{X,Y} はレート λ + μ の指数分布に従うため、P(W > s) = exp(−(λ + μ)s) である。
• M = 1_{X≤Y} は成功確率 λ / (λ + μ) のベルヌーイ分布に従うため、P(M = 1) = λ / (λ + μ) である。
• {W > s} と {M = 1} の2つの事象は独立である。P(W > s, M = 1) = P(W > s)P(M = 1) を示した。
• P(W ≤ w, M = 1, O ≤ t) の同時確率は、w ≥ 0 かつ t ≥ 0 の条件下で (λ / (λ + μ)) (1 − exp(−(λ + μ)w)) として導出された。
• P(W ≤ w, M = 0, O ≤ t) は対称的であり、同じ条件下で (μ / (λ + μ)) (1 − exp(−(λ + μ)w)) に等しい。
• W と (M,O) は独立である。これは、同時分布が W と (M,O) の周辺分布の積に分解されることから示される。