[논문 리뷰] Independent Innovation Analysis for Nonlinear Vector Autoregressive Process

Hiroshi Morioka, Hermanni Hälvä외 1명|arXiv (Cornell University)|2020. 06. 19.

Fault Detection and Control Systems참고 문헌 26인용 수 5

한 줄 요약

이 논문은 비선형 벡터 자기회귀(NVAR) 과정에서 관측값과 잠재적 혁신 사이의 임의의 비선형 상호작용을 갖는 경우, 잠재적 혁신을 식별하기 위한 새로운 프레임워크인 독립적 혁신 분석(IIA)을 소개한다. 혁신 상호 간의 상호독립성과 보조 변수(예: 시간)에 의한 조절을 가정함으로써, IIA는 순열과 성분별 역가능한 비선형성까지의 식별 가능성을 확보하며, 일반적인 NVAR 모델에 대해 처음으로 엄밀한 식별 가능성 결과를 제시한다. 이는 자기지도 학습과 최대우도 추론 기반의 세 가지 실용적인 추정 방법을 포함한다.

ABSTRACT

The nonlinear vector autoregressive (NVAR) model provides an appealing framework to analyze multivariate time series obtained from a nonlinear dynamical system. However, the innovation (or error), which plays a key role by driving the dynamics, is almost always assumed to be additive. Additivity greatly limits the generality of the model, hindering analysis of general NVAR processes which have nonlinear interactions between the innovations. Here, we propose a new general framework called independent innovation analysis (IIA), which estimates the innovations from completely general NVAR. We assume mutual independence of the innovations as well as their modulation by an auxiliary variable (which is often taken as the time index and simply interpreted as nonstationarity). We show that IIA guarantees the identifiability of the innovations with arbitrary nonlinearities, up to a permutation and component-wise invertible nonlinearities. We also propose three estimation frameworks depending on the type of the auxiliary variable. We thus provide the first rigorous identifiability result for general NVAR, as well as very general tools for learning such models.

연구 동기 및 목표

• 비선형성의 상호작용이 존재하고 혁신이 덧셈적으로 분리되지 않는 일반적인 비선형 벡터 자기회귀(NVAR) 모델에서의 식별 가능성 부족 문제를 해결하기 위해.
• 선형 또는 덧셈적 혁신 구조를 가정하지 않고 다변량 시간 시리즈에서 잠재적 혁신을 추정할 수 있는 프레임워크를 개발하기 위해.
• 최소한의 정규성 가정 하에 일반 NVAR 과정에서의 혁신에 대한 이론적 식별 가능성을 확립하기 위해.
• 실제 시간 시리즈 데이터에 적용 가능한 실용적이고 학습 가능한 IIA 추정 방법을 제안하기 위해.
• 독립적이고 비정규 분포를 갖는 혁신 성분을 복원함으로써 시간 시리즈 동역학의 해석 가능한 분해를 가능하게 하기 위해.

제안 방법

• 관측값이 과거 관측값과 혁신에 비선형적으로 의존하는 일반적인 NVAR(1) 모델을 제안: $\mathbf{x}_t = \mathbf{f}(\mathbf{x}_{t-1}, \mathbf{s}_t)$, 여기서 $\mathbf{s}_t$ 는 잠재적 혁신이다.
• 혁신 상호 간의 상호독립성과 보조 변수(예: 시간)에 의한 조절을 가정함으로써 비stationarity를 유도하고, 이는 식별 가능성을 가능하게 한다.
• 세 가지 추정 프레임워크를 도입: 대조 학습과 시간적 일관성을 활용한 신경망 기반 두 가지 자기지도 학습 방법, 그리고 숨은 마르코프 모델을 사용한 최대우도 추정 방법.
• 혼합 과정을 역행하는 디믹싱 네트워크를 활용하여, 독립성과 비stationarity 제약 조건 하에 $\mathbf{x}_t$ 와 $\mathbf{x}_{t-1}$ 에서 $\mathbf{s}_t$ 를 추정한다.
• 성분별 역가능한 비선형성과 순열 불변성을 활용하여 잠재변수 모델의 기본적인 불확정성 문제를 해결한다.
• 표시된 레이블 없이도 분리된 혁신 표현을 학습하기 위해 대조 학습과 시간적 일관성을 적용한다.

실험 결과

연구 질문

• RQ1 관측값과 혁신 간의 비선형 상호작용이 존재하고 혁신이 상태와 덧셈적으로 분리되지 않는 일반적인 비선형 벡터 자기회귀(NVAR) 과정에서 혁신을 식별할 수 있는가?
• RQ2 임의의 비선형성을 갖는 일반적인 NVAR 모델에서 혁신의 식별 가능성을 보장하기 위해 필요한 가정은 무엇인가?
• RQ3 기본 혼합 함수가 알려져 있지 않고 비선형적인 상황에서, 데이터 기반 프레임워크가 다변량 시간 시리즈에서 혁신을 어떻게 추정할 수 있는가?
• RQ4 자기지도 학습 기법이 레이블이 없는 상황에서 NVAR 과정의 독립적 혁신을 효과적으로 추정하는 데 사용될 수 있는가?
• RQ5 보조 변수(예: 시간)가 비선형 동역학 시스템에서 혁신의 식별 가능성을 어떻게 가능하게 하는가?

주요 결과

• IIA는 상호독립성과 보조 변수에 의한 조절을 가정할 경우, 일반 NVAR 모델에서 순열과 성분별 역가능한 비선형성까지의 혁신 식별 가능성을 확보한다.
• 제안된 IIA 프레임워크는 비가산적 혁신을 갖는 일반적인 비선형 벡터 자기회귀 과정에 대해 처음으로 엄밀한 식별 가능성 결과를 제공한다.
• 대조 학습 기반 자기지도 추정 방법(IIA-TCL)과 시간적 일관성 기반 방법(IIA-TC)은 합성 데이터와 실제 신경 데이터에서 뛰어난 성능을 보이며, AD-NVAR 및 VAE와 같은 기준 모델들을 능가한다.
• 신경 데이터에서 IIA-TCL는 자극 복원을 위한 한 명의 피험자 제외 교차검증에서 92.5%의 분류 정확도를 달성하여 NICA 및 AD-NVAR(3) 기준 모델보다 뚜렷이 뛰어나다.
• 혁신 성분의 시각화 결과는 입력에 특화된 패턴을 명확히 드러내어, IIA가 기저의 동역학적 원인을 의미 있고 해석 가능한 표현으로 학습하고 있음을 확인한다.
• 숨은 마르코프 모델 기반 최대우도 추정 방법(IIA-HMM)은 낮은 표본 수 환경에서도 뛰어난 안정성을 보이며, 프레임워크의 이론적 기반을 검증한다.