[논문 리뷰] Automated extraction of mutual independence patterns using Bayesian comparison of partition models

Guillaume Marrelec, Alain Giron|arXiv (Cornell University)|2020. 01. 15.

Bayesian Methods and Mixture Models참고 문헌 62인용 수 3

한 줄 요약

이 논문은 변수 간 상호 독립성 패턴을 자동으로, 데이터 기반으로 발견하기 위한 베이지안 프레임워크를 제안한다. 이는 변수의 분할에 대한 모델 비교 문제로 간주함으로써 이루어진다. 마르코프 체인 몬테카를로(MCMC) 샘플링을 사용하여 가능한 독립성 구조의 전체 공간을 효율적으로 탐색하며, 기존의 최대우도비와 최소 정보차이 기준과 같은 고전적 검정의 원리적인 일반화를 제공한다. 합성 데이터 및 실제 데이터에서 성공적으로 성능을 입증하였다.

ABSTRACT

Mutual independence is a key concept in statistics that characterizes the structural relationships between variables. Existing methods to investigate mutual independence rely on the definition of two competing models, one being nested into the other and used to generate a null distribution for a statistic of interest, usually under the asymptotic assumption of large sample size. As such, these methods have a very restricted scope of application. In the present manuscript, we propose to change the investigation of mutual independence from a hypothesis-driven task that can only be applied in very specific cases to a blind and automated search within patterns of mutual independence. To this end, we treat the issue as one of model comparison that we solve in a Bayesian framework. We show the relationship between such an approach and existing methods in the case of multivariate normal distributions as well as cross-classified multinomial distributions. We propose a general Markov chain Monte Carlo (MCMC) algorithm to numerically approximate the posterior distribution on the space of all patterns of mutual independence. The relevance of the method is demonstrated on synthetic data as well as two real datasets, showing the unique insight provided by this approach.

연구 동기 및 목표

• 상호 독립성 검출을 가설 기반 검정에서 모든 가능한 독립성 패턴에 대한 막연한 자동 탐색으로 전환하기 위해.
• 모든 가능한 변수 분할 구조에 대한 전체 베이지안 추론을 가능하게 하는 일반적인 프레임워크 개발을 위해.
• 포함된 모델가 필요하고 점근적 근사가 필요한 고전적 방법의 한계를 극복하기 위해.
• 다변량 정규분포 및 이元분포(다항분포)에 적용 가능한 확장성 있고 융통성 있는 방법을 제공하기 위해.
• 고전적 방법이 자주 간과하는 복잡하고 희박한 독립성 구조를 식별할 수 있도록 하기 위해.

제안 방법

• D개의 변수에 대한 상호 독립성 패턴을 분할로 간주하여, 분할과 독립성 구조 사이에 일대일 대응을 설정한다.
• 베이지안 모델 비교를 통해 데이터가 주어졌을 때 각 분할(즉, 각 독립성 패턴)의 사후 확률을 계산한다.
• 로그 사후확률의 점근적 근사식을 유도하여 기존 기준(베이지안 정보기준(BIC), 최대우도비, 최소 정보차이)과 일치시킨다.
• 모든 분할 공간을 효율적으로 탐색하기 위해 제브스 샘플링과 평행 온도 기법을 활용한 일반적인 MCMC 알고리즘을 제안한다.
• 다변량 정규분포 및 교차분류 다항분포에 적용하여, 이전의 접근과 이론적으로 일관성을 보임을 보였다.
• 닫힌 형식의 해가 존재하지 않을 경우 사후 추론을 가능하게 하기 위해 주변 가능도의 수치적 근사를 활용한다.

실험 결과

연구 질문

• RQ1 기본적인 구조에 대한 사전 가정 없이, 완전히 자동화되고 데이터 기반으로 상호 독립성 패턴을 어떻게 탐지할 수 있는가?
• RQ2 베이지안 분할 비교 프레임워크가 최대우도비 및 최소 정보차이 기반의 고전적 독립성 검정을 얼마나 잘 일반화하는가?
• RQ3 한정된 표본 크기에서 희박한 독립성 구조를 식별하는 데에 이 방법은 얼마나 잘 작동하는가?
• RQ4 다변량 t분포와 같은 고차원 또는 비정규 분포에서 진짜 독립성 패턴을 효과적으로 복원할 수 있는가?
• RQ5 모든 가능한 독립성 패턴의 공간에 대한 사후분포를 어떻게 표현하고 해석할 수 있는가?

주요 결과

• 베이지안 프레임워크는 합성 데이터에서 알려진 독립성 패턴을 정확하게 회복하며, 복잡하고 희박한 구성에서도 높은 정확도를 보였다.
• 다변량 정규분포 및 다항분포 모델에서 점근적 영역에서 BIC, 최대우도비, 최소 정보차이 기준과 강한 일치를 보였다.
• 평행 온도 기법을 적용한 MCMC 샘플링을 통해 조합적으로 큰 분할 공간을 효과적으로 탐색할 수 있었으며, 중간 크기의 D에 대해서도 유의미한 성능을 보였다.
• 고전적 검정이 다루지 못하는 비중첩적, 복잡한 독립성 구조를 탐지하는 데서 전통적 방법보다 뛰어난 성능을 보였다.
• 다변량 t분포를 가진 데이터에서는 방법이 여전히 강건하지만, BIC 근사에서 변동성이 증가하고 분리가 발생하는 경향을 보였으며, 향후 보완이 필요함을 시사했다.
• 특히 D > 4일 경우 분할 공간에 대한 사후분포 표현의 어려움을 부각하였고, 이해 가능성을 높이기 위한 새로운 시각화 기법 개발이 필요함을 제기했다.