[논문 리뷰] The Mondrian Process for Machine Learning

Matej Balog, Yee Whye Teh|arXiv (Cornell University)|2015. 07. 18.

Gaussian Processes and Bayesian Inference참고 문헌 13인용 수 4

한 줄 요약

이 논문은 서로 경쟁하는 지수 확률 변수의 확률적 행동을 분석하여 최소값(W), 최대값(Z), 그리고 그 차이(O)의 결합 분포와 더불어, 어느 변수가 더 작은지 나타내는 지표 M의 분포를 도출한다. W와 (M,O)가 서로 독립이며, M이 W와 독립임을 입증하며, M은 베르누이 분포를 따르고 W는 지수 분포를 따른다.

ABSTRACT

This report is concerned with the Mondrian process and its applications in machine learning. The Mondrian process is a guillotine-partition-valued stochastic process that possesses an elegant self-consistency property. The first part of the report uses simple concepts from applied probability to define the Mondrian process and explore its properties. The Mondrian process has been used as the main building block of a clever online random forest classification algorithm that turns out to be equivalent to its batch counterpart. We outline a slight adaptation of this algorithm to regression, as the remainder of the report uses regression as a case study of how Mondrian processes can be utilized in machine learning. In particular, the Mondrian process will be used to construct a fast approximation to the computationally expensive kernel ridge regression problem with a Laplace kernel. The complexity of random guillotine partitions generated by a Mondrian process and hence the complexity of the resulting regression models is controlled by a lifetime hyperparameter. It turns out that these models can be efficiently trained and evaluated for all lifetimes in a given range at once, without needing to retrain them from scratch for each lifetime value. This leads to an efficient procedure for determining the right model complexity for a dataset at hand. The limitation of having a single lifetime hyperparameter will motivate the final Mondrian grid model, in which each input dimension is endowed with its own lifetime parameter. In this model we preserve the property that its hyperparameters can be tweaked without needing to retrain the modified model from scratch.

연구 동기 및 목표

• 두 개의 독립적인 지수 확률 변수 중에서 더 작은 변수를 나타내는 지표의 최소값, 최대값, 지표의 결합 분포를 기술하는 것.
• W = min{X,Y}, M = 1_{X≤Y}, O = |X−Y|의 주변분포와 결합분포를 결정하는 것.
• W와 쌍 (M,O) 사이, 그리고 W와 M 사이의 확률적 독립성을 증명하는 것.
• P(W ≤ w, M = 1, O ≤ t)와 같은 핵심 확률을 계산하고, 보완적인 경우의 대칭성을 검증하는 것.

제안 방법

• 지수 분포의 기억성 성질을 이용하여, X의 값을 조건으로 두고 P(M = 1)를 계산한다.
• X ~ Exp(λ), Y ~ Exp(μ), X와 Y가 독립일 때, min{X,Y} ~ Exp(λ + μ)임을 이용한다.
• W의 분포를 확인하기 위해 P(W > s) = exp(−(λ + μ)s)를 도출한다.
• W ≤ w, M = 1, O ≤ t의 결합 사건을 X와 Y로 조건부로 표현하고, 독립성을 적용한다.
• x ∈ [s, ∞)에 대한 적분을 통해 P(W ≤ w, M = 1, O ≤ t)를 계산하며, P(Y ≥ x) = exp(−μx)를 활용한다.
• 유도된 표현을 사용하여 P(W ≤ w, M = 1) = P(W ≤ w)P(M = 1)임을 보여, 독립성을 검증한다.

실험 결과

연구 질문

• RQ1 X와 Y가 각각 파라미터 λ와 μ를 가진 독립적인 지수 확률 변수일 때, W = min{X,Y}의 분포는 무엇인가요?
• RQ2 X ≤ Y일 확률, 즉 P(M = 1)는 얼마이며, M의 분포는 무엇인가요?
• RQ3 {W > s}와 {M = 1}의 사건들이 확률적으로 독립인지 여부는 어떻게 증명할 수 있나요?
• RQ4 P(W ≤ w, M = 1, O ≤ t)의 결합 확률은 무엇이며, 주변 분포와의 관계는 어떻게 되나요?
• RQ5 W와 (M,O)는 독립인지 여부는 무엇이며, 이를 뒷받침하는 증거는 무엇인가요?

주요 결과

• W = min{X,Y}는 비율 λ + μ를 가진 지수 분포를 따르므로, P(W > s) = exp(−(λ + μ)s)이다.
• M = 1_{X≤Y}는 성공 확률 λ / (λ + μ)를 가진 베르누이 분포를 따르므로, P(M = 1) = λ / (λ + μ)이다.
• P(W > s, M = 1) = P(W > s)P(M = 1)임을 보여, {W > s}와 {M = 1}의 사건들이 독립임을 입증한다.
• 결합 확률 P(W ≤ w, M = 1, O ≤ t)는 w ≥ 0 및 t ≥ 0 조건에서 (λ / (λ + μ)) (1 − exp(−(λ + μ)w))로 도출된다.
• P(W ≤ w, M = 0, O ≤ t)는 대칭적이며, 동일한 조건 하에서 (μ / (λ + μ)) (1 − exp(−(λ + μ)w))와 같다.
• W와 (M,O)는 독립이며, 이는 결합 분포가 W와 (M,O)의 주변 분포의 곱으로 분해되기 때문이다.