[논문 리뷰] Neural graphical modelling in continuous-time: consistency guarantees and algorithms

Alexis Bellot, Kim Branson외 1명|arXiv (Cornell University)|2021. 05. 06.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 확률적 미분 방정식에서 局소적 의존성의 방향성 그래프를 학습하기 위해 정규화된 신경 미분 방정식을 사용하는 연속시간 신경 그래픽 모델(NGM)을 제안한다. 신경망으로 파arameter화된 벡터장에 기반한 구조 복원에 대해 일致성 보장을 수립하고, 최신의 이산시간 방법들보다 불규칙하게 샘플링된 多변량 시간 시리즈에서 뛰어난 성능을 보인다.

ABSTRACT

The discovery of structure from time series data is a key problem in fields of study working with complex systems. Most identifiability results and learning algorithms assume the underlying dynamics to be discrete in time. Comparatively few, in contrast, explicitly define dependencies in infinitesimal intervals of time, independently of the scale of observation and of the regularity of sampling. In this paper, we consider score-based structure learning for the study of dynamical systems. We prove that for vector fields parameterized in a large class of neural networks, least squares optimization with adaptive regularization schemes consistently recovers directed graphs of local independencies in systems of stochastic differential equations. Using this insight, we propose a score-based learning algorithm based on penalized Neural Ordinary Differential Equations (modelling the mean process) that we show to be applicable to the general setting of irregularly-sampled multivariate time series and to outperform the state of the art across a range of dynamical systems.

연구 동기 및 목표

• 동적 시스템에서 진정한 연속시간 의존성을 포착하는 데에 한계가 있는 이산시간 그래픽 모델의 문제를 해결하기 위해.
• 불규칙한 샘플링과 변동하는 관측 빈도에 대해 강건한 점수 기반 학습 알고리즘을 개발하기 위해.
• 확률적 미분 방정식의 벡터장에 신경망 파arameter화를 사용할 때의 구조 복원에 대한 이론적 일치 보장을 수립하기 위해.
• 하향 또는 불규칙한 시간 시리즈 데이터로부터 복잡한 시스템의 정확하고 해석 가능한 局소적 직접 의존성 구조를 발견할 수 있도록 하기 위해.

제안 방법

• 기본 역학 시스템을 신경망으로 파arameter화된 드리프트 함수 f(θ)를 갖는 확률적 미분 방정식으로 수식화한다.
• 최소 제곱 최적화와 적응형 그룹 라소 정규화를 사용하여 벡터장 f(θ)를 추정하고 인접 행렬 G를 복원한다.
• 이산적이고 가능하면 불규칙한 관측치로부터 연속시간 역학을 모델링하고 추정하기 위해 정규화된 신경 보통 미분 방정식을 적용한다.
• 프록실 링 라이프 경량 최적화와 적응형 정규화를 사용하여 간선 탐지에서 희소성과 일관성을 확보한다.
• 도함수 근사와 정규화에 기반한 일관성 추론을 통해, 본 방법이 진정한 국소적 인dependence 그래프를 일관되게 복원함을 증명한다.
• 다양한 동적 시스템과 평가 지표를 사용하여 NGM을 Neural Granger Causality, PCMCI, SVAM 등의 이산시간 기준 모델과 비교한다.

실험 결과

연구 질문

• RQ1 신경망 기반의 연속시간 모델이 확률적 미분 방정식의 진정한 방향성 국소 의존성 그래프를 일관되게 복원할 수 있는가?
• RQ2 불규칙한 샘플링과 변동하는 관측 빈도 하에서 연속시간 구조 학습의 성능이 이산시간 방법보다 어떻게 비교되는가?
• RQ3 정규화된 신경 ODE 프레임워크 내에서의 적응형 정규화가 얼마나 구조 복원 정확도와 강건성 향상에 기여하는가?
• RQ4 로렌츠 및 루스러르 애트랙터와 같은 비선형이고 혼돈적인 시스템에 적용했을 때, 제안된 방법이 일관성과 정확성을 유지하는가?
• RQ5 정규적인 샘플링 간격을 가정하지 않고도, 하향 또는 노이즈가 섞인 시간 시리즈 데이터로부터 인과적 구조를 효과적으로 학습할 수 있는가?

주요 결과

• 벡터장이 넓은 범위의 신경망 클래스로 파arameter화된 경우, 제안된 NGM 방법은 확률적 미분 방정식에서 진정한 국소 독립성 인접 행렬을 일관되게 복원한다.
• NGM은 루이스 및 루스러르 시스템을 포함한 모든 테스트된 동적 시스템에서 최신의 이산시간 방법인 Neural Granger Causality와 PCMCI를 뛰어넘는 성능을 보인다.
• 이 방법은 불규칙한 샘플링과 변동하는 관측 빈도에 강건하며, 특히 낮은 샘플링 레이트에서 이산시간 대안보다 훨씬 낮은 오류율을 기록한다.
• 당산화 효소 조절계의 벤치마크에서, NGM은 노이즈와 비선형성에도 불구하고 높은 F1 스코어를 기록하고 알려진 비선형 조절 구조를 정확히 복원했다.
• 적응형 그룹 라소 정규화의 사용은 수동 임계값 설정 없이도 일관된 간선 탐지가 가능하게 하며, 비영인 파라미터는 직접적으로 간선 존재를 나타낸다.
• 실험 결과에 따르면, 고노이즈와 하향 샘플링 조건에서도 NGM은 다양한 시스템에서 높은 진짜 양성률과 낮은 거짓 탐지율을 유지한다.