[논문 리뷰] Bayesian Approaches to Nonlinear Network Reconstruction

Wei Pan, Ye Yuan외 2명|arXiv (Cornell University)|2014. 08. 15.

Gene Regulatory Network Analysis참고 문헌 39인용 수 4

한 줄 요약

이 논문은 제한된 노이즈가 섞인 시계열 데이터로부터 이산 시간 비선형 시스템을 복원하기 위한 베이지안 희소 회귀 방법을 제안한다. 문제를 희소성 유도 사전분포와 우도 최대화를 통한 볼록화된 반복적으로 가중치를 조정한 ℓ1-최소화 문제로 재정의함으로써, 비선형 기능 형태와 파ameters의 정확한 식별이 가능해지며, 이는 유전자 억제 리듬기구와 쿠라모토 진동자 네트워크에서 검증되었다.

ABSTRACT

This technical note considers the reconstruction of discrete-time nonlinear systems with additive noise. In particular, we propose a method and its associated algorithm to identify the system nonlinear functional forms and their associated parameters from a limited number of noisy time-series data. For this, we cast this reconstruction problem as a sparse linear regression problem and take a Bayesian viewpoint to solve it. As such, this approach typically leads to nonconvex optimisations. We propose a convexification procedure relying on an efficient iterative reweighted `1-minimisation algorithm that uses general sparsity inducing priors on the parameters of the system and marginal likelihood maximisation. Using this approach, we also show how convex constraints on the parameters can be easily added to our proposed iterative reweighted `1-minimisation algorithm. In the supplementary material [1], we illustrate the effectiveness of the proposed reconstruction method on two classical systems in biology and physics, namely, a genetic repressilator network and a large scale network of interconnected Kuramoto oscillators.

연구 동기 및 목표

• 제한적이고 노이즈가 섞인 시계열 데이터로부터 비선형 동역학 시스템을 복원하는 데 도전하는 것.
• 비선형 시스템 식별에 내재된 비볼록 최적화 문제를 극복하는 것.
• 희소 베이지안 학습을 통해 비선형 시스템의 기능 형태와 파ameters를 정확히 복원할 수 있도록 하는 것.
• 확장 가능한 최적화 프레임워크 내에서 시스템 파ameters에 대한 볼록 제약 조건을 통합하는 것.
• 생물학 및 물리학 분야의 기준 시스템에서 이 방법의 효과성을 입증하는 것.

제안 방법

• 비선형 기저 함수 공간에서의 희소 선형 회귀 문제로 비선형 시스템 복원 문제를 재구성하는 것.
• 시스템 파ameters에 일반적인 희소성 유도 사전분포를 적용한 베이지안 프레임워크를 채택하여 모델 선택의 간결성을 증진하는 것.
• 비볼록 최적화 문제를 볼록화하기 위해 반복적으로 가중치를 조정한 ℓ1-최소화 알고리즘을 구현하는 것.
• 모델 일반화를 향상시키기 위해 우도 최대화를 사용해 하이퍼파am터를 자동으로 조정하는 것.
• 반복 가중치 조정 프레임워크 내에서 제약 최적화를 통해 파am터에 대한 볼록 제약 조건을 통합하는 것.
• 문제의 구조를 활용해 효율적인 계산과 대규모 네트워크로의 확장성을 확보하는 것.

실험 결과

연구 질문

• RQ1 베이지안 희소 회귀 접근법이 제한된 노이즈가 섞인 시계열 데이터로부터 비선형 역학을 효과적으로 복원할 수 있는가?
• RQ2 비선형 시스템 식별에서 발생하는 비볼록 최적화 문제를 신뢰할 수 있는 계산을 위해 효과적으로 볼록화할 수 있는가?
• RQ3 희소성 유도 사전분포가 식별된 비선형 함수의 정확성과 해석 가능성에 어느 정도 기여하는가?
• RQ4 시스템 파am터에 대한 볼록 제약 조건을 복원 프레임워크에 원활하게 통합할 수 있는가?
• RQ5 이 방법은 유전자 억제 리듬기구와 쿠라모토 진동자와 같은 실제 비선형 네트워크에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 소수의 노이즈가 섞인 시계열 관측치만으로도 유전자 억제 리듬기구 네트워크의 기저 비선형 역학을 성공적으로 복원한다.
• 반복적으로 가중치를 조정한 ℓ1-최소화 알고리즘은 추가 노이즈가 존재하는 상황에서도 기능 형태와 파ameters의 정확한 식별을 달성한다.
• 파am터에 대한 볼록 제약 조건을 통합하는 것은 실현 가능하며, 복원된 모델의 물리적 타당성을 향상시킨다.
• 우도 최대화의 사용은 하이퍼파am터 자동 조정을 가능하게 하여 모델의 강건성을 향상시킨다.
• 이 방법은 쿠라모토 진동자 대규모 네트워크에서 뛰어난 성능을 보이며, 복잡한 시스템에서의 확장성과 정확성을 확인한다.