[논문 리뷰] Neural Granger Causality for Nonlinear Time Series

Alex Tank, Ian Covert외 3명|arXiv (Cornell University)|2018. 02. 16.

Neural Networks and Applications참고 문헌 62인용 수 69

한 줄 요약

이 논문은 구조적 다층 퍼셉트론(MLP)과 순환 신경망(RNN)을 사용한 비선형 그랜저 인과성 프레임워크를 제안하며, 인과 관계의 희소성에 대한 그룹 라소 페널티를 도입한다. 이는 장거리 의존성을 효과적으로 포착하고, DREAM3 비선형 유전자 조절 데이터셋에서 최신 기법들을 능가하는 성능을 보이며, 시간 포인트가 제한된 상황에서도 뛰어난 성능을 발휘한다.

ABSTRACT

While most classical approaches to Granger causality detection assume linear dynamics, many interactions in applied domains, like neuroscience and genomics, are inherently nonlinear. In these cases, using linear models may lead to inconsistent estimation of Granger causal interactions. We propose a class of nonlinear methods by applying structured multilayer perceptrons (MLPs) or recurrent neural networks (RNNs) combined with sparsity-inducing penalties on the weights. By encouraging specific sets of weights to be zero---in particular through the use of convex group-lasso penalties---we can extract the Granger causal structure. To further contrast with traditional approaches, our framework naturally enables us to efficiently capture long-range dependencies between series either via our RNNs or through an automatic lag selection in the MLP. We show that our neural Granger causality methods outperform state-of-the-art nonlinear Granger causality methods on the DREAM3 challenge data. This data consists of nonlinear gene expression and regulation time courses with only a limited number of time points. The successes we show in this challenging dataset provide a powerful example of how deep learning can be useful in cases that go beyond prediction on large datasets. We likewise demonstrate our methods in detecting nonlinear interactions in a human motion capture dataset.

연구 동기 및 목표

• 신경과학 및 게놈 분야에서 흔한 본질적인 비선형 상호작용을 모델링하는 데에 고전적인 선형 그랜저 인과성의 한계를 해결한다.
• 비선형 의존성과 장기적 시간 동역학을 포착할 수 있는 확장성 있고 미분 가능한 프레임워크를 개발한다.
• 볼록 페널티를 통한 모델 가중치의 희소성 강제로 해석 가능한 인과 구조 탐색을 가능하게 한다.
• 기존 방법이 실패하는, 예를 들어 유전자 조절 네트워크에서와 같이 시간 포인트가 적고 차원수가 높은 데이터에 대해 효과성을 입증한다.
• 딥러닝을 예측 작업을 넘어서 복잡한 동역학 시스템에서의 인과 추론으로 확장한다.

제안 방법

• 학습 가능한 지연 구조를 갖춘 구조적 다층 퍼셉트론(MLP)을 사용해 시간 시리즈의 비선형 자기회귀적 의존성을 모델링한다.
• 순환 신경망(RNN)을 사용해 시간 시리즈 간의 장거리 시간적 의존성을 명시적으로 모델링한다.
• 네트워크 가중치에 볼록 그룹 라소 페널티를 통합해 희소성을 유도하고 중요한 인과 연결을 식별한다.
• 역전파를 통한 엔드 투 엔드 학습을 수행하면서도, 인과 경로의 희소성로 해석 가능성 유지한다.
• 구조적 가중치 공유를 통한 자동 지연 선택을 통해 과적합을 줄이고 일반화 성능을 향상시킨다.
• 예측 정확도와 희소성의 균형을 맞추는 최적화 문제로 인과 구조 탐색 과제를 공식화한다.

실험 결과

연구 질문

• RQ1 구조적 희소성의 딥러닝 모델은 관측 수가 적은 시간 시리즈에서 비선형 그랜저 인과 관계를 효과적으로 식별할 수 있는가?
• RQ2 그룹 라소 페널티를 적용한 RNN과 MLP는 비선형 시간 시리즈에서 장거리 의존성을 어떻게 비교하여 포착하는가?
• RQ3 실제 생물학적 시간 시리즈에서 기존의 비선형 그랜저 인과성 기법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 유전자 발현 시간 곡선과 같은 고차원·저표본 크기의 데이터셋에서 이 프레임워크는 의미 있는 인과 상호작용을 탐지할 수 있는가?
• RQ5 희소성 유도 페널티를 사용할 경우, 밀집 모델 대비 더 해석 가능하고 정확한 인과 네트워크 추론을 이룰 수 있는가?

주요 결과

• 제안된 신경 그랜저 인과성 방법은 비선형 유전자 발현과 조절 시간 곡선을 포함한 DREAM3 챌린지 데이터셋에서 최신 비선형 기법들을 능가한다.
• 이 프레임워크는 시간 포인트 수가 제한된 상황에서도 비선형성과 장거리 의존성을 효과적으로 포착한다.
• 희소성 유도 그룹 라소 페널티는 관련된 인과 연결을 효과적으로 식별하여 모델의 해석 가능성을 향상시킨다.
• 이 방법은 인간의 동작 캡처 데이터셋에서도 뛰어난 성능을 보이며, 게놈학 외의 분야로의 일반화 능력을 입증한다.
• 다양한 희소성과 함께 미분 가능한 딥러닝을 사용함으로써 높은 예측 정확도와 의미 있는 인과 구조 탐색이 동시에 가능해진다.