[논문 리뷰] Granger Causality Networks for Categorical Time Series

Alex Tank, Emily B. Fox외 1명|arXiv (Cornell University)|2017. 06. 08.

Time Series Analysis and Forecasting참고 문헌 16인용 수 11

한 줄 요약

이 논문은 다변량 이元 시간 시리즈에서 그랜저 인과망을 학습하기 위한 혼합 전이 분포(MTD) 모델의 볼록 재구성 방법을 제안하며, 기존의 비볼록성과 식별성 문제를 해결한다. 이 방법은 딕스트라 스타일의 투영을 사용하는 투영 경사 알고리즘을 통해 효율적이고 고차원적인 추정을 가능하게 하여, 다항로지스틱 전이 분포(mLTD)보다 해석 가능성과 희박성에서 뛰어나며, 모델 잘못 설정 상황에서도 뛰어난 성능을 유지한다.

ABSTRACT

We present a new framework for learning Granger causality networks for multivariate categorical time series, based on the mixture transition distribution (MTD) model. Traditionally, MTD is plagued by a nonconvex objective, non-identifiability, and presence of many local optima. To circumvent these problems, we recast inference in the MTD as a convex problem. The new formulation facilitates the application of MTD to high-dimensional multivariate time series. As a baseline, we also formulate a multi-output logistic autoregressive model (mLTD), which while a straightforward extension of autoregressive Bernoulli generalized linear models, has not been previously applied to the analysis of multivariate categorial time series. We develop novel identifiability conditions of the MTD model and compare them to those for mLTD. We further devise novel and efficient optimization algorithm for the MTD based on the new convex formulation, and compare the MTD and mLTD in both simulated and real data experiments. Our approach simultaneously provides a comparison of methods for network inference in categorical time series and opens the door to modern, regularized inference with the MTD model.

연구 동기 및 목표

• 다변량 이원 시간 시리즈에 대한 혼합 전이 분포(MTD) 모델의 오랜 지속된 계산 및 식별성 문제를 해결하기 위해.
• 정규화된 고차원 추론을 가능하게 하는 MTD를 위한 볼록 최적화 프레임워크를 개발하기 위해.
• MTD의 새로운 식별성 조건을 설정하고, 다항로지스틱 전이 분포(mLTD)의 조건들과 비교하기 위해.
• 기존의 모델들보다 계산적으로 효율적이고 해석 가능한 이원 시간 시리즈 네트워크 추론의 대안을 제공하기 위해.
• 새로운 재매개변수화와 최적화 전략을 통해 MTD를 현대의 고차원 데이터셋에 확장 가능하게 하기 위해.

제안 방법

• 비볼록 제약 조건을 볼록 제약 조건으로 전환하는 새로운 재매개변수화를 통해 MTD 모델을 볼록 최적화 문제로 재구성하기 위해.
• 희박한 그랜저 인과망을 촉진하기 위해 희박성 유도 페널티를 사용하는 펜라이즈드 우도 프레임워크 도입하기 위해.
• MTD 모델의 볼록 제약 조건 집합에 효율적으로 투영하기 위해 딕스트라의 분할 방법을 사용하는 투영 경사 알고리즘 개발하기 위해.
• 비볼록이고 만족하기 어려운 조건을 대체하기 위해 볼록 페널티를 사용하여 식별성 제약 조건을 강제하기 위해.
• MTD 접근법과 기존의 기준선인 다중 출력 로지스틱 전이 분포(mLTD)를 비교하기 위해. mLTD는 다항 결과에 대해 자기상관 GLM을 확장한 것이다.
• 시뮬레이션 데이터와 실제 데이터셋(바흐의 차일드 하모니 등)에 MTD 및 mLTD 모델을 적용하여 성능과 해석 가능성 평가하기 위해.

실험 결과

연구 질문

• RQ1 비볼록인 MTD 모델은 새로운 재매개변수화를 통해 볼록 최적화 문제로 재구성될 수 있는가? 이를 통해 확장 가능하고 고차원적인 추론이 가능한가?
• RQ2 MTD 모델의 새로운 식별성 조건는 무엇이며, mLTD 모델의 조건들과 비교해보면 어떠한가?
• RQ3 모델 잘못 설정 상황에서도 MTD 프레임워크의 성능은 mLTD 모델과 비교해 희박성, 해석 가능성, 내성성 면에서 어떻게 다를까?
• RQ4 제안된 딕스트라의 방법을 사용하는 투영 경사 알고리즘은 고차원 이원 시간 시리즈 데이터를 효율적으로 처리할 수 있는가?
• RQ5 특히 진짜 데이터 생성 과정이 잘못 설정된 경우에도 MTD 모델은 다변량 이원 시간 시리즈에서 진짜 인과 구조를 얼마나 잘 복원할 수 있는가?

주요 결과

• 제안된 볼록 MTD 재구성은 이전의 비볼록 최적화와 국소 최적해 문제를 해결하고 고차원 다변량 이원 시간 시리즈에서 효율적이고 스케일러블한 추론을 가능하게 한다.
• MTD의 새로운 식별성 조건가 유도되었으며, 볼록 페널티를 통해 강제 가능함을 입증하여 모델 일致성을 확보한다.
• 딕스트라의 분할 방법을 사용하는 투영 경사 알고리즘은 MTD 제약 조건 집합에 대해 빠르고 정확한 투영을 달성하여 대규모 응용을 가능하게 한다.
• 바흐의 차일드 하모니 분석에서 MTD 모델은 하모니 음과 코드 간 강한 연결을 가진 희박하고 해석 가능한 네트워크를 복원하였으며, 음악 이론과 일치한다.
• mLTD에 비해 MTD 모델은 더 희박하고 더 해석 가능한 네트워크를 생성하였으며, 소프트맥스 함수의 비선형성으로 인해 비직관적인 연결 강도 측정치를 야기하는 mLTD의 문제를 피했다.
• 시뮬레이션과 실제 데이터 분석 결과, MTD와 mLTD 모두 모델 잘못 설정 상황에서도 잘 작동하지만, MTD는 더 뛰어난 해석 가능성과 구조 복원 능력을 보였다.