[논문 리뷰] Cluster Variational Approximations for Structure Learning of Continuous-Time Bayesian Networks from Incomplete Data

Dominik Linzner, Heinz Koeppl|TUbilio (Technical University of Darmstadt)|2018. 09. 12.

Bayesian Modeling and Causal Inference인용 수 5

한 줄 요약

이 논문은 완전하지도 않고 노이즈가 섞인 시계열 데이터로부터 연속시간 베이지안 네트워크(CTBNs)에서 스케일러블한 구조 학습을 위한 새로운 클러스터-변분 추론 방법을 제안한다. 보통 미분방정식을 통해 해석적으로 적분 가능한 동역학을 유도하고, 변분 자유 에너지를 통해 구조 점수를 근사함으로써, 효율적이고 정확한 그래프 재구성 가능성을 확보한다. 이는 합성 및 실제 생물학적 네트워크, 특히 14노드 네트워크에서 검증되었으며, 기존의 샘플링 및 변분 기반 방법들보다 스케일러비리티와 정확도에서 뛰어나다.

ABSTRACT

Continuous-time Bayesian networks (CTBNs) constitute a general and powerful framework for modeling continuous-time stochastic processes on networks. This makes them particularly attractive for learning the directed structures among interacting entities. However, if the available data is incomplete, one needs to simulate the prohibitively complex CTBN dynamics. Existing approximation techniques, such as sampling and low-order variational methods, either scale unfavorably in system size, or are unsatisfactory in terms of accuracy. Inspired by recent advances in statistical physics, we present a new approximation scheme based on cluster-variational methods significantly improving upon existing variational approximations. We can analytically marginalize the parameters of the approximate CTBN, as these are of secondary importance for structure learning. This recovers a scalable scheme for direct structure learning from incomplete and noisy time-series data. Our approach outperforms existing methods in terms of scalability.

연구 동기 및 목표

• 데이터가 불완전하고 노이즈가 섞여 있을 때 연속시간 베이지안 네트워크에서 방향성 네트워크 구조를 학습하는 데 도전하는 것.
• 고차원 CTBN에서 기존의 샘플링 및 저차수 변분 방법의 스케일러비리티와 정확도 제한을 극복하는 것.
• 잠재 상태 추정에 드는 비용을 피하기 위해 클러스터-변분 방법을 활용해 직접적인 구조 학습 프레임워크를 개발하는 것.
• 모델 매개변수에 대해 변분 자유 에너지를 적분하여 구조 점수의 닫힌 형태 근사를 도출함으로써 효율적인 그레디언트 최적화를 가능하게 하는 것.
• 제한된 관측이 있는 실제 시계열 데이터에서 복잡한 생물학적 네트워크, 예를 들어 유전자 조절 네트워크를 정확하게 재구성할 수 있도록 하는 것.

제안 방법

• 통계역학의 클러스터-변분 근사를 활용하여, 계산이 불가능한 잠재 CTBN 상태의 사후분포에 대해 일관되고 다루기 쉬운 근사를 구성한다.
• CTBN의 경로적 동역학을 관측된 데이터, 사전 가정 및 그래프 구조에만 의존하는 보통 미분방정식(ODE) 시스템으로 기술함으로써 효율적인 시뮬레이션을 가능하게 한다.
• 모델 매개변수에 대해 변분 자유 에너지를 적분함으로써, 매개변수 추정 없이도 구조 점수를 직접 최적화할 수 있도록 한다.
• 변분 자유 에너지를 적분한 근사된 구조 점수를 유도하며, 이는 그레디언트 기반의 구조 학습에서 모델 증거의 대체 기준이 된다.
• 최고의 점수를 가진 그래프를 식별하기 위해 오름다운 기반 절차를 사용한다. 이는 근사된 구조 점수에 의해 유도된다.
• 표준 ODE 해법기를 사용하여 구현되어 있어 계산 효율성과 더 큰 네트워크로의 확장 가능성이 보장된다.

실험 결과

연구 질문

• RQ1 클러스터-변분 방법은 불완전한 데이터를 가진 연속시간 베이지안 네트워크에서의 구조 학습 정확도와 스케일러비리티를 향상시킬 수 있는가?
• RQ2 CTBN의 경로적 동역학을 해석적으로 유도하고, 샘플링 없이 전체 사후분포를 근사하는 데 어떻게 활용할 수 있는가?
• RQ3 변분 자유 에너지를 매개변수에 대해 얼마나 적분할 수 있는가? 이는 직접적인 구조 학습을 가능하게 하는가?
• RQ4 샘플링 기반 및 저차수 변분 접근법과 비교해 본다면, 제안된 방법의 재구성 정확도와 계산 비용은 어떠한가?
• RQ5 이 방법은 노이즈가 많고 관측이 제한된 시계열 데이터로부터 대규모 생물학적 네트워크, 예를 들어 유전자 조절 네트워크를 성공적으로 재구성할 수 있는가?

주요 결과

• 이 방법은 완전하지도 않고 노이즈가 섞인 데이터로부터 14노드의 잎에서 루트로의 피드백이 있는 CTBN을 성공적으로 재구성하였으며, 이는 이전까지 샘플링 기반 방법으로 보고된 바 있는 11노드 네트워크를 초월하는 규모이다.
• N=5노드 및 k_max=1인 합성 데이터에서, 충분한 데이터가 확보된 경우 높은 정확도로 그래프 복원을 달성하였으며, 노이즈에 대한 강건성을 입증하였다.
• k_max=2일 경우, 더 높은 모델 복잡도와 더 강한 상관관계를 가진 네트워크에서 성능 저하가 발생하여, 모델 표현력과 식별 가능성 사이의 상충 관계를 보여주었다.
• IRMA 효모 유전자 조절 네트워크에서, 이 방법은 BANJO를 능가하고, '켜짐' 및 '꺼짐' 데이터셋 모두에서 TSNI와 비교해도 PPV 점수에서 경쟁력 있는 성능을 보였다.
• 기존의 샘플링 및 변분 기반 기준 대비 뛰어난 스케일러비리티를 보였으며, 고차원 시스템에서 효율적인 구조 학습을 가능하게 하였다.
• 유도된 ODE 기반 동역학은 진짜 잠재 과정을 일관되고 정확하게 근사하여, 전체 사후분포 샘플링 없이도 신뢰할 수 있는 구조 추론을 가능하게 하였다.