[논문 리뷰] Beyond normality: Learning sparse probabilistic graphical models in the non-Gaussian setting

Rebecca Morrison, Ricardo Baptista외 1명|arXiv (Cornell University)|2017. 11. 02.

Gaussian Processes and Bayesian Inference참고 문헌 25인용 수 11

한 줄 요약

이 논문은 다항식 전개를 활용한 운반 맵를 이용하여 비정규 연속 분포에서 희박한 확률적 그래픽 모델을 학습하기 위한 새로운 알고리즘 SING을 제안한다. 운반 맵의 희박성을 이용해 조건부 인과관계를 추론함으로써, 정규성 가정이 성립하지 않는 상황에서도 진정한 그래픽 구조를 정확하게 복원할 수 있으며, 합성 데이터 및 금융 데이터 예제에서 기존의 GLASSO와 같은 표준 방법들을 능가한다.

ABSTRACT

We present an algorithm to identify sparse dependence structure in continuous and non-Gaussian probability distributions, given a corresponding set of data. The conditional independence structure of an arbitrary distribution can be represented as an undirected graph (or Markov random field), but most algorithms for learning this structure are restricted to the discrete or Gaussian cases. Our new approach allows for more realistic and accurate descriptions of the distribution in question, and in turn better estimates of its sparse Markov structure. Sparsity in the graph is of interest as it can accelerate inference, improve sampling methods, and reveal important dependencies between variables. The algorithm relies on exploiting the connection between the sparsity of the graph and the sparsity of transport maps, which deterministically couple one probability measure to another.

연구 동기 및 목표

• 기존의 그래픽 모델 학습 알고리즘이 정규 또는 이산 분포에 국한되어 있다는 한계를 해결하기 위해.
• 연속적인 비정규 분포에서 희박한 마르코프 무작위 필드를 일致적으로 복원하는 방법을 개발하기 위해.
• 정규성 또는 파라미터 기반 코풀라 형태를 가정하지 않고도 조건부 인과관계 구조를 정확히 식별할 수 있도록 하기 위해.
• 운반 맵의 희박성을 그래픽 모델의 희박성에 대한 대체 척도로 활용하여 추정 효율성과 정확도를 향상시키기 위해.
• 위성 구름 영상 및 스토케스틱 볼라티리티 모델과 같은 실제 세계 데이터에서의 방법의 강건성을 입증하기 위해.

제안 방법

• 기본 표준 정규 분포에서 데이터 분포로의 운반 맵를 사용하여 알려지지 않은 밀도 π를 표현하기 위해.
• 차수 β의 다항식 전개를 사용하여 운반 맵를 매개변수화하며, β=1은 선형(정규) 맵에 해당하고 β>1은 비정규 모델링을 가능하게 한다.
• 로그 π의 혼합 편미분의 기대값의 절댓값을 통해 일반화된 정밀도 행렬 Ω를 계산하며, 여기서 Ω_jk = 0은 조건부 인과관계를 의미한다.
• Ω의 요소를 임계값 처리하여 희박성을 탐지하고, 이는 조건부 인과관계에 해당한다.
• 현재 그래프 구조를 기반으로 운반 맵 추정치를 반복적으로 개선하여 피드백을 통해 정확도를 향상시킨다.
• 운반 맵의 희박성을 활용하여 계산 비용을 감소시키기 위해 볼록 최적화를 적용하여 운반 맵를 효율적으로 추정한다.

실험 결과

연구 질문

• RQ1 기존의 정규 방법이 실패하는 비정규 연속 분포에서 운반 맵를 사용하여 희박한 그래픽 모델을 복원할 수 있는가?
• RQ2 운반 맵의 희박성은 기저 분포의 조건부 인과관계 구조와 어떻게 관련이 있는가?
• RQ3 비정규 그래픽 모델에서 약한 간선을 신뢰성 있게 탐지하기 위해 필요한 최소 표본 수는 얼마인가?
• RQ4 운반 맵의 다항식 차수 β의 선택이 그래프 복원 정확도에 어떤 영향을 미치는가?
• RQ5 복잡한 의존성 구조를 가진 비정규 데이터에 적용했을 때 SING이 GLASSO와 같은 표준 정규 기반 방법보다 뛰어난 성능을 보일 수 있는가?

주요 결과

• SING은 10개 변수를 가진 합성 비정규 예제에서 두 번의 반복만에 잘못된 간선을 수정하며 정확한 그래픽 구조를 복원했고, 선형 맵(β=1)는 완전히 실패하였다.
• n=15,000개의 표본을 사용할 때, β=2를 사용한 SING은 진짜 스토케스틱 볼라티리티 모델 그래프를 정확히 복원하여 상태 변수와 하이퍼파rameter 간의 간선을 올바르게 식별했고, β=1과 GLASSO는 잘못된 그래프를 생성하여 허위 또는 누락된 간선을 포함하였다.
• 일부 강한 간선은 n=2,000개의 표본으로도 복원 가능하여, 고무력 의존성에 대해 높은 효율성을 입증하였다.
• SING를 통해 계산된 일반화된 정밀도 행렬 Ω는 진짜 조건부 인과관계 구조를 정확히 반영하며, 최대값 1로 스케일링된 요소들은 강한 간선과 약한 간선을 명확히 구분한다.
• GLASSO는 정규성 가정을 하므로, 스토케스틱 볼라티리티 모델에서 상태 변수 간의 간선을 과대평가하고 하이퍼파rameter로의 연결은 과소평가하여 모델 오특정의 위험을 드러낸다.
• 현재 그래프 구조를 기반으로 운반 맵를 반복적으로 개선함으로써 알고리즘은 정확한 희박한 그래프로 수렴함을 확인하였으며, 이는 알고리즘의 일致성과 강건성을 확인한다.