[논문 리뷰] An Interpretable and Sparse Neural Network Model for Nonlinear Granger Causality Discovery

Alex Tank, Ian Cover외 3명|arXiv (Cornell University)|2017. 11. 22.

Statistical Methods and Inference참고 문헌 9인용 수 12

한 줄 요약

이 논문은 입력-은닉 가중치에 그룹 라소 및 계층적 그룹 라소 페널티를 적용하여 비선형 그란저 인과성 탐색을 위한 희박하고 해석 가능한 신경망 모델을 제안한다. 인코딩 레이어에서 희박성을 강제함으로써, 이 방법은 어떤 과거 시계열 지연이 목표 시리즈에 인과적으로 영향을 미치는지 식별하며, 선형 VAR 및 비선형 로렌츠-96 모델 모두에서 일致된 추정을 달성한다.

ABSTRACT

While most classical approaches to Granger causality detection repose upon linear time series assumptions, many interactions in neuroscience and economics applications are nonlinear. We develop an approach to nonlinear Granger causality detection using multilayer perceptrons where the input to the network is the past time lags of all series and the output is the future value of a single series. A sufficient condition for Granger non-causality in this setting is that all of the outgoing weights of the input data, the past lags of a series, to the first hidden layer are zero. For estimation, we utilize a group lasso penalty to shrink groups of input weights to zero. We also propose a hierarchical penalty for simultaneous Granger causality and lag estimation. We validate our approach on simulated data from both a sparse linear autoregressive model and the sparse and nonlinear Lorenz-96 model.

연구 동기 및 목표

• 비선형 시계열 의존성을 포착하는 데에 한계가 있는 선형 그란저 인과성 방법의 문제점을 해결하기 위해.
• 다변량 시계열에서 비선형 인과 관계를 해석 가능한 방식으로 식별할 수 있는 신경망 기반 접근법을 개발하기 위해.
• 입력 가중치의 희박성을 강제하여 어떤 시계열의 과거 지연이 목표 시리즈를 그란저 인과하는지 식별하기 위해.
• 계층적 페널티 구조를 통해 동시에 그란저 인과성 추정과 최적의 지연 순서 추정을 수행하기 위해.
• 선형 자기회귀 모델과 비선형 역학계인 로렌츠-96 모델 모두에서 방법을 검증하기 위해.

제안 방법

• 각 출력 시리즈에 대해 별도의 네트워크를 사용하여 인과적 영향을 분리한다.
• 과거 지연에서 은닉 유닛으로 연결되는 첫 번째 레이어 가중치에 그룹 라소 페널티를 적용하여 입력 기여도의 희박성을 강제한다.
• 일정 시리즈의 과거 지연에서 나가는 모든 출력 가중치가 0일 경우를 그란저 비인과성으로 정의함으로써 직접 선택이 가능하게 한다.
• 계층적 그룹 라소 페널티를 사용하여 인과적 시리즈와 그 최적의 지연 순서를 동시에 선택한다.
• 고정된 큰 지연 수 K를 사용하고, 불필요한 경우 높은 지연을 자동으로 0으로 설정하도록 계층적 페널티를 활용한다.
• 예측 오차를 최소화하는 정규화된 최적화를 통해 모델을 추정하며, 그룹 희박성 페널티를 적용한다.

실험 결과

연구 질문

• RQ1 구조적 희박성을 가진 신경망 모델이 다변량 시계열에서 비선형 그란저 인과 관계를 식별할 수 있는가?
• RQ2 입력 가중치에 그룹 라소 페널티를 적용하면 선형 및 비선형 시계열 모두에서 진짜 인과 구조를 효과적으로 복원할 수 있는가?
• RQ3 계층적 그룹 라소 페널티를 통해 동시에 그란저 인과성 선택과 최적의 지연 순서 추정을 수행할 수 있는가?
• RQ4 로렌츠-96 모델과 같은 비선형 역학계에서 그래프 복원의 AUC 성능은 어떠한가?
• RQ5 표본 크기가 증가함에 따라 방법이 일致성을 유지하며 진짜 인과 연결을 완벽하게 탐지하는가?

주요 결과

• 표본 크기가 증가함에 따라 시뮬레이션된 선형 VAR 데이터에서 AUC 값이 1에 가까워지며 일치성의 증거를 보인다.
• 비선형 로렌츠-96 모델에서도 표본 크기가 증가함에 따라 AUC 값이 1에 수렴하며 비선형성에 대한 강건성을 입증한다.
• 계층적 그룹 라소 페널티는 필요하지 않은 경우 높은 지연을 0으로 설정함으로써 올바른 인과 상호작용의 지연 순서를 성공적으로 식별한다.
• 모델은 희박한 인과 그래프를 정확히 복원하며, 추정된 간선은 진짜 기반 그란저 인과 구조와 일치한다.
• 그룹 라소 페널티는 관련이 없는 입력 시리즈를 효과적으로 제거하여 희박하고 해석 가능한 인과 네트워크를 생성한다.
• 복잡한 비가산적 의존성을 포착함으로써, 비선형 환경에서 전통적인 선형 접근법보다 성능이 뛰어나다.