[논문 리뷰] A Bayesian Multiresolution Independence Test for Continuous Variables

Diraitris Margaritis, Sebastian Thrun|arXiv (Cornell University)|2013. 01. 10.

Bayesian Modeling and Causal Inference참고 문헌 9인용 수 34

한 줄 요약

이 논문은 연속 변수에 대한 베이지안 다중해상도 독립성 검정을 제안하며, 다양한 데이터 해상도에서 조건부 독립성의 사후 확률을 계산한다. 디리클레-다항분포 사전분포와 이산화된 히스토그램에 대한 정확한 베이지안 통합을 사용함으로써, 혼합 변수 유형을 가진 베이지안 네트워크에서 강건한 구조 학습을 가능하게 하며, 단일 해상도 방법보다 복잡한 종속성을 탐지하는 데에서 뛰어난 성능을 발휘한다.

ABSTRACT

In this paper we present a method ofcomputing the posterior probability ofconditional independence of two or morecontinuous variables from data,examined at several resolutions. Ourapproach is motivated by theobservation that the appearance ofcontinuous data varies widely atvarious resolutions, producing verydifferent independence estimatesbetween the variablesinvolved. Therefore, it is difficultto ascertain independence withoutexamining data at several carefullyselected resolutions. In our paper, weaccomplish this using the exactcomputation of the posteriorprobability of independence, calculatedanalytically given a resolution. Ateach examined resolution, we assume amultinomial distribution with Dirichletpriors for the discretized tableparameters, and compute the posteriorusing Bayesian integration. Acrossresolutions, we use a search procedureto approximate the Bayesian integral ofprobability over an exponential numberof possible histograms. Our methodgeneralizes to an arbitrary numbervariables in a straightforward manner.The test is suitable for Bayesiannetwork learning algorithms that useindependence tests to infer the networkstructure, in domains that contain anymix of continuous, ordinal andcategorical variables.

연구 동기 및 목표

• 분석 해상도에 따라 의존성 또는 독립성이 나타날 수 있는 연속 변수에서 조건부 독립성을 탐지하는 데 도전하는 것.
• 단일 척도 분석에서 오해의 소지가 있는 결론을 피하기 위해 다중 해상도에서 독립성을 체계적으로 평가하는 방법을 개발하는 것.
• 연속, 순서형, 범주형 변수를 포함한 혼합 변수 유형으로 일반화되는 원칙적인 베이지안 접근법을 통해 독립성의 사후 확률을 계산하는 것.
• 다양한 해상도에서의 안정적인 독립성 검정을 제공함으로써 베이지안 네트워크의 구조 학습을 지원하는 것.

제안 방법

• 연속 변수를 다중 해상도에서 히스토그램으로 이산화하여, 다양한 정밀도에서 종속성을 포착하는 다중해상도 격자를 사용한다.
• 각 해상도에서, 이산화된 셀에 대한 디리클레 사전분포를 갖는 다항분포로 연속 분포를 모델링한다.
• 공액 사전분포를 활용하여 분석적 접근성을 확보함으로써, 정확한 사후 확률을 베이지안 통합을 통해 계산한다.
• 지수적 수의 가능한 히스토그램에 대한 베이지안 적분을 근사하기 위한 검색 절차를 사용하며, 다양한 해상도 간의 증거를 통합한다.
• 연속 변수는 이산화를 통해, 범주형 변수는 표준 다항분포 모델링을 통해 다중 변수 및 혼합 데이터 유형으로 일반화된다.
• 다양한 해상도에서 가능한 독립성 구조의 공간을 효율적으로 탐색하기 위해 계층적 검색 전략을 사용한다.

실험 결과

연구 질문

• RQ1 동일한 데이터가 분석 해상도에 따라 의존성 또는 독립성을 나타낼 수 있을 때, 연속 변수에서 조건부 독립성을 신뢰성 있게 평가하는 방법은 무엇인가?
• RQ2 다양한 해상도에서의 증거를 어떻게 통합하여 진정한 기반 독립성 구조를 추론할 수 있는가?
• RQ3 다양한 히스토그램 해상도 범위에서 원칙적인 베이지안 방식으로 독립성의 사후 확률을 어떻게 계산할 수 있는가?
• RQ4 다중해상도 베이지안 검정은 단일해상도 접근법보다 베이지안 네트워크의 구조 학습에 개선된 성능을 보일 수 있는가?

주요 결과

• 이 방법은 단일 해상도 검정이 놓치는 비선형적이고 복잡한 종속성을 다중 척도에서 데이터를 분석함으로써 성공적으로 탐지한다.
• 베이지안 다중해상도 접근법은 단일 해상도에 의존하는 전통적 방법보다 더 정확하고 안정적인 독립성 평가를 제공한다.
• 다양한 해상도를 통합함으로써, 임의의 구간 설정 선택에 대한 민감도를 감소시키고 구조 학습에서의 강건성을 향상시킨다.
• 이 방법은 혼합 변수 유형으로 효과적으로 일반화되어 실세계의 베이지안 네트워크 학습 과제에서 연속형, 순서형, 범주형 변수를 모두 포함한 응용에 적합하다.
• 실증 평가 결과, 기준 데이터셋에서 다중해상도 검정이 단일해상도 대안보다 정확한 네트워크 구조를 식별하는 데에서 뛰어난 성능을 보였다.