[논문 리뷰] Learning Causality: Synthesis of Large-Scale Causal Networks from High-Dimensional Time Series Data

Mark-Oliver Stehr, Peter Avar외 13명|arXiv (Cornell University)|2019. 05. 06.

Computational Drug Discovery Methods참고 문헌 27인용 수 5

한 줄 요약

이 논문은 고차원 시간 시리즈 데이터에서 대규모 인과 네트워크를 합성하기 위한 기계학습 프레임워크를 제시한다. 시민 신경망을 사용해 시간 시리즈 간의 확률적 인과관계를 탐지하며, 가우시안 프로세스와 추상적 네트워크 모델링을 통합해 전사체학 데이터에서 인과관계를 추론함으로써 생물학적 가정을 최소화하고 복잡한 시스템 전반에서 높은 확장성을 확보한 시스템 생물학의 기전 분석을 가능하게 한다.

ABSTRACT

There is an abundance of complex dynamic systems that are critical to our daily lives and our society but that are hardly understood, and even with today's possibilities to sense and collect large amounts of experimental data, they are so complex and continuously evolving that it is unlikely that their dynamics will ever be understood in full detail. Nevertheless, through computational tools we can try to make the best possible use of the current technologies and available data. We believe that the most useful models will have to take into account the imbalance between system complexity and available data in the context of limited knowledge or multiple hypotheses. The complex system of biological cells is a prime example of such a system that is studied in systems biology and has motivated the methods presented in this paper. They were developed as part of the DARPA Rapid Threat Assessment (RTA) program, which is concerned with understanding of the mechanism of action (MoA) of toxins or drugs affecting human cells. Using a combination of Gaussian processes and abstract network modeling, we present three fundamentally different machine-learning-based approaches to learn causal relations and synthesize causal networks from high-dimensional time series data. While other types of data are available and have been analyzed and integrated in our RTA work, we focus on transcriptomics (that is gene expression) data obtained from high-throughput microarray experiments in this paper to illustrate capabilities and limitations of our algorithms. Our algorithms make different but overall relatively few biological assumptions, so that they are applicable to other types of biological data and potentially even to other complex systems that exhibit high dimensionality but are not of biological nature.

연구 동기 및 목표

• 고차원 시간 시리즈 데이터에서 인과 네트워크를 추론하기 위한 확장성 있고 데이터 기반의 방법을 개발하는 것.
• 제한된 데이터와 높은 시스템 복잡성에 도전하기 위해 생물학적 가정을 최소화하면서도 모델의 해석 가능성과 확장성을 극대화하는 것.
• 전사체학 데이터로부터 인과 네트워크를 합성함으로써 독성학 및 약물 반응 분석에서 기전 분석(MoA)을 지원하는 것.
• 관찰 데이터로부터의 계산적 추론을 통해 생물학적 모델의 가설 생성과 반복적 개선을 가능하게 하는 것.
• 생물학을 초월해 금융 시장과 뉴스 네트워크와 같이 고차원 시간 시리즈가 복잡한 시스템 역학을 반영하는 분야로의 적용 가능성을 확장하는 것.

제안 방법

• 시간 시리즈 쌍 간의 확률적 인과관계 탐지를 위해 시민 신경망을 활용하며, 인과관계와 비인과관계를 구분하는 데 학습한다.
• 비선형 시간 척도를 모델링하고 인과관계 탐지기의 훈련 및 검증을 위한 합성 시간 시리즈 데이터를 생성하기 위해 가우시안 프로세스를 사용한다.
• 기본 데이터 분포를 학습하고 합성 데이터의 품질을 향상시키기 위해 컨volutional 오토인코더와 생성적 적대 신경망(GANs)을 적용한다.
• 딥 및 워드 신경망을 통합해 시스템 상태의 시간적 변화를 예측하고 이를 인과 그래프로 시각화한다.
• PCA, 클러스터링, 다양한 신경망 등을 통합한 유일한 프레임워크(JupyterFlow) 내에서 엔드 투 엔드 네트워크 합성을 수행한다.
• 시민 네트워크의 인과관계 탐지 훈련 및 검증을 위해 가우시안 프로세스 기반의 합성 동적 유전자 발현 모델을 사용한다.

실험 결과

연구 질문

• RQ1 제한된 표본과 높은 노이즈를 가진 고차원 시간 시리즈 데이터에서 확률적 인과관계를 신뢰성 있게 탐지할 수 있는가?
• RQ2 합성 데이터로 훈련된 시민 신경망이 실제 전사체학 데이터에 대해 인과 네트워크 추론에 얼마나 일반화되는가?
• RQ3 최소한의 생물학적 가정으로도 해석 가능성과 확장성을 유지하면서 인과 네트워크 합성을 어떻게 달성할 수 있는가?
• RQ4 GAN과 같은 생성 모델이 인과관계 탐지기 훈련을 위한 합성 데이터의 현실성과 정확도를 향상시키는 데 어떤 역할을 하는가?
• RQ5 국소적 인과관계 탐지와 전역 네트워크 제약 조건(예: 사이클 없음, 차수 분포)의 통합이 전체 네트워크 품질을 향상시키는가?

주요 결과

• 시민 신경망 접근법은 확률적 신뢰도를 갖춰 고차원 데이터에서 대규모 인과 네트워크를 합성하는 데 성공한다.
• 가우시안 프로세스를 통해 생성된 합성 시간 시리즈는 인과관계 탐지에 신뢰할 수 있고 확장성 있는 훈련 신호를 제공하며, 모델의 일반화 능력을 향상시킨다.
• 컨volutional GAN의 통합은 합성 데이터의 현실성을 향상시켜 후속 인과관계 탐지 작업의 성능을 향상시킨다.
• 이 프레임워크는 강력한 이식 가능성을 보이며, 글로벌 금융 시장과 뉴스 네트워크와 같은 비생물학적 분야에서도 유망한 初기 결과를 보였다.
• 확률적 인과관계 탐지와 전역 네트워크 제약 조건의 조합은 거짓 양성률을 감소시켜 하이브리드 모델링 접근법의 잠재력을 시사한다.
• JupyterFlow 프레임워크는 전체 인과 네트워크 합성 파이프라인의 모듈화, 재현 가능성, 확장성 구현을 가능하게 하여 반복적 개선과 가설 검증을 지원한다.