[논문 리뷰] Economy Statistical Recurrent Units For Inferring Nonlinear Granger Causality

Saurabh Khanna, Vincent Y. F. Tan|arXiv (Cornell University)|2019. 11. 22.

Functional Brain Connectivity Studies참고 문헌 31인용 수 7

한 줄 요약

이 논문은 시간 시리즈 데이터로부터 비선형 그랜저 인과관계를 추론하기 위한 경량형이며 희소성 유도 기능을 갖춘 통계적 순환 유닛(SRUs)의 변종인 economy-SRU를 제안한다. 모델은 은닉 상태에서 구조적 희소 정규화와 저차원 랜덤 프로젝션을 활용하여 시간 국소화된 예측 가능 특징을 효과적으로 포착하며, 합성 데이터, fMRI 및 유전자 조절 네트워크 벤치마크에서 MLP, LSTM 및 어텐션 게이팅된 CNN보다 더 낮은 과적합을 보이며 진정한 인과 네트워크를 더 잘 복원한다.

ABSTRACT

Granger causality is a widely-used criterion for analyzing interactions in large-scale networks. As most physical interactions are inherently nonlinear, we consider the problem of inferring the existence of pairwise Granger causality between nonlinearly interacting stochastic processes from their time series measurements. Our proposed approach relies on modeling the embedded nonlinearities in the measurements using a component-wise time series prediction model based on Statistical Recurrent Units (SRUs). We make a case that the network topology of Granger causal relations is directly inferrable from a structured sparse estimate of the internal parameters of the SRU networks trained to predict the processes$'$ time series measurements. We propose a variant of SRU, called economy-SRU, which, by design has considerably fewer trainable parameters, and therefore less prone to overfitting. The economy-SRU computes a low-dimensional sketch of its high-dimensional hidden state in the form of random projections to generate the feedback for its recurrent processing. Additionally, the internal weight parameters of the economy-SRU are strategically regularized in a group-wise manner to facilitate the proposed network in extracting meaningful predictive features that are highly time-localized to mimic real-world causal events. Extensive experiments are carried out to demonstrate that the proposed economy-SRU based time series prediction model outperforms the MLP, LSTM and attention-gated CNN-based time series models considered previously for inferring Granger causality.

연구 동기 및 목표

• 비선형 시스템에서 선형 모델 기반 그랜저 인과관계의 한계를 해결하기 위해, 미약한 비선형성 하에서도 실패하는 기존 방법의 문제를 해결한다.
• 다변량 시간 시리즈에서 비선형 쌍별 그랜저 인과관계를 추론할 수 있는 딥러닝 기반의 시간 시리즈 예측 프레임워크를 개발한다.
• 고차원, 저표본 크기 설정에서 과적합을 줄이기 위해 파rameter 효율적이고 구조적 희소성 있는 순환 아키텍처를 설계한다.
• 전략적 정규화를 통해 순환 모델의 내부 파ram터로부터 직접 네트워크 구조를 추론할 수 있도록 한다.

제안 방법

• economy-SRU(eSRU)를 제안하며, 고차원 은닉 상태를 랜덤 프로젝션을 통해 저차원 스케치로 변환하여 파라미터 수와 과적합을 줄인다.
• 내부 가중치 파라미터에 그룹 기반 정규화를 적용하여 시간 국소화된 의미 있는 예측 가능 특징을 유도하며, 실제 세계의 인과 사건을 모방한다.
• n개의 확률적 과정 간의 비선형 상호작용을 표현하기 위해 구성요소별 자기회귀 모델(식 1)을 사용하며, 각 구성요소는 eSRU를 통해 예측한다.
• eSRU를 평균 제곱오차 손실을 사용하여 개별 시간 시리즈 구성요소를 예측하도록 훈련하며, 그랜저 인과관계 네트워크 구조는 모델 내부 파라미터의 구조적 희소성에서 유추한다.
• 정규화된 모델에서 비영인 가중치를 기반으로 예측에 기여하는 과거 입력을 식별함으로써 인과 네트워크를 추론한다.

실험 결과

연구 질문

• RQ1 제한된 시간 시리즈 데이터에서 표준 딥러닝 아키텍처보다 파라미터 효율적이고 희소한 순환 모델이 비선형 그랜저 인과관계 추론에서 더 우수한 성능을 보일 수 있는가?
• RQ2 순환 모델의 내부 파라미터에 존재하는 구조적 희소성이 실제로 기반 인과 네트워크 구조를 직접 반영하는가?
• RQ3 SRU의 은닉 상태에서 랜덤 프로젝션을 적용하면 과적합을 줄이면서도 인과 추론의 예측 능력을 유지할 수 있는가?
• RQ4 다양한 데이터셋에서 eSRU의 성능은 MLP, LSTM 및 어텐션 게이팅된 CNN보다 진정한 인과 네트워크 복원에서 어떻게 비교되는가?

주요 결과

• T=1000개의 시간 시리즈 샘플에서, eSRU는 합성 VAR 데이터셋에서 평균 AUROC 0.98±0.01을 기록하며 진정한 그랜저 인과 네트워크를 거의 완벽하게 복원한다.
• T=200인 fMRI BOLD 데이터에서, eSRU는 평균 AUROC 0.84±0.03을 기록하며 MLP(0.81±0.04), LSTM(0.70±0.03), TCDF(0.75±0.04)를 모두 앞선다.
• 21개의 시간 포인트를 가진 DREAM-3 인 비트 네트워크 챌린지에서, eSRU는 E.coli-1에서 최고의 AUROC 0.660, E.coli-2에서 0.629를 기록하며 다섯 개 네트워크 중 네 개에서 MLP, LSTM 및 TCDF를 모두 능가한다.
• T=500일 때 eSRU와 MLP는 평균 AUROC에서 통계적으로 동등하지만, T=1000일 때 eSRU가 더 뛰어난 성능을 보이며 더 나은 일반화 능력을 보여준다.
• eSRU의 구조적 희소 추정치는 그랜저 인과 관계의 네트워크 구조를 직접적으로 드러내며, 이는 방법의 해석 가능성의 타당성을 입증한다.