[논문 리뷰] Discovering Nonlinear Relations with Minimum Predictive Information Regularization

Tailin Wu, Thomas M. Breuel외 2명|arXiv (Cornell University)|2020. 01. 07.

Time Series Analysis and Forecasting참고 문헌 47인용 수 14

한 줄 요약

이 논문은 예측값과 입력 간 상호정보량을 최소화하여 관측 시간 시리즈에서 비선형적이고 방향성 있는 인과 관계를 발견하는 새로운 딥러닝 방법인 최소 예측 정보 정규화(MPIR)를 소개한다. 유사한 데이터, 비디오 게임, 실제 생리학적 데이터셋에서 기존 방법들을 능가하며, 공동 밀도 추정이 필요 없이 효율적으로 진정한 인과 구조를 식별한다. 신경망과 학습 가능한 입력 노이즈를 활용하여 복잡한 비선형 의존성을 모델링한다.

ABSTRACT

Identifying the underlying directional relations from observational time series with nonlinear interactions and complex relational structures is key to a wide range of applications, yet remains a hard problem. In this work, we introduce a novel minimum predictive information regularization method to infer directional relations from time series, allowing deep learning models to discover nonlinear relations. Our method substantially outperforms other methods for learning nonlinear relations in synthetic datasets, and discovers the directional relations in a video game environment and a heart-rate vs. breath-rate dataset.

연구 동기 및 목표

• 복잡하고 알려지지 않은 기능 형태를 가진 관측 시간 시리즈에서 방향성 있고 비선형적인 인과 관계를 발견하는 데 도전하는 것.
• 기존의 그란저 인과성과 전이 엔트로피의 한계를 극복하여 고차원 시간 시리즈에서 확장 가능하고 효율적인 인과 추론을 가능하게 하는 것.
• 혼동 변수가 존재하는 상황에서도 간접적 또는 잘못된 연관성 대신 직접적인 인과 관계를 식별할 수 있는 방법을 개발하는 것.
• 비선형 역동성을 모델링하기 위해 딥 뉴럴 네트워크와 호환되는 미분 가능하고 종단 간(end-to-end) 프레임워크를 제공하는 것.
• 통계적 검정과 입력 스케일링 및 모델 재매개변수화에 대한 불변성을 제공하여 강력한 인과 추론을 가능하게 하는 것.

제안 방법

• 예측된 미래 값과 입력 시간 시리즈 간의 상호정보량을 최소화하는 최소 예측 정보 정규화(MPIR) 목적함수를 제안하며, 이는 다른 변수에 조건부이다.
• 학습 가능한 입력 노이즈 메커니즘을 사용하여 예측 모델을 정규화함으로써, 네트워크가 비선형 기능 관계를 학습하면서도 예측 능력을 유지할 수 있도록 한다.
• 과거 시간 시리즈에서 미래 예측으로의 비선형 매핑을 모델링하기 위해 신경망을 함수 근사기로 활용함으로써, 복잡한 역동성을 보편적으로 근사할 수 있도록 한다.
• 최소 예측 정보를 시간 시리즈 쌍 간의 방향성 예측 강도 측도로 정의하여, 입력 스케일링 및 모델 재매개변수화에 대해 불변하는 방식으로 인과 영향을 정량화한다.
• 모든 N개의 시간 시리즈에 대한 공동 밀도 추정이 필요 없도록, 각 타겟 시간 시리즈별로 N개의 별도 모델을 훈련시음으로써 인과 추론 문제를 해결한다.
• 최소 예측 정보에 통계적 검정을 적용하여 추론된 인과 관계의 유의성을 평가함으로써, 발견된 구조에 대한 가설 검정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 명시적인 기능 형태가 필요 없이 딥러닝 기반 방법이 고차원 시간 시리즈에서 비선형 인과 관계를 발견할 수 있는가?
• RQ2 Granger 인과성, 전이 엔트로피, 점수 기반 방법과 같은 기존 접근법과 비교할 때 MPIR 방법의 정확성과 확장성은 어떻게 되는가?
• RQ3 이러한 복잡하고 비선형적인 시스템에서 직접적인 인과 관계와 간접적 또는 잘못된 연관성을 효과적으로 구분할 수 있는가?
• RQ4 실제 데이터에서 노이즈와 시간 시리즈 길이 및 샘플링 속도의 변동에 대해 이 방법이 얼마나 강인한가?
• RQ5 뇌 손상과 같은 외부 간섭으로 인해 생리학적 시간 시리즈의 인과 구조가 변화하는 것을 탐지할 수 있는가?

주요 결과

• MPIR는 비선형 시간 시리즈의 진정한 인과 구조를 발견하는 데 기준선 방법보다 뚜렷이 뛰어나며, 시간 시리즈 수(N)가 증가할수록 그 성능이 더욱 두드러진다.
• 아케이드 게임 아타리 브레이크아웃 환경에서, MPIR는 게임 상태 변수 간의 정확한 인과 구조를 성공적으로 추론하였으며, 행동-위치 및 위치-보상 간의 의존성까지 포함한다.
• 심박수와 호흡수 데이터셋에서, MPIR는 심박수에서 호흡수로의 일관되고 비대칭적인 인과 영향을 식별하였으며, 생리학적 기대와 일치한다.
• 쥐의 뇌파(EEG) 데이터셋에서, MPIR는 뇌 손상 이후 좌측 측두피질에서 우측 측두피질로의 방향성 영향력 이동을 탐지하였으며, 이는 이전 연구와 일치하며 뇌신경생리학적 변화에 민감함을 보였다.
• 시간 수평 K가 증가함에 따라 예측 강도가 최소한의 감소를 보이며, 기존의 커널 기반 인과 지수 기반 방법과 비교해 역사 길이 선택에 대해 강인함을 나타낸다.
• 통계적 검정을 통해 최소 예측 정보 측도가 인과 관계의 유의성을 평가하는 데 유효하며, 입력 스케일링 및 모델 재매개변수화에 대해 불변함을 확인하였다.