[논문 리뷰] ITENE: Intrinsic Transfer Entropy Neural Estimator

Jingjing Zhang, Osvaldo Simeone외 3명|arXiv (Cornell University)|2019. 12. 16.

Model Reduction and Neural Networks참고 문헌 25인용 수 11

한 줄 요약

이 논문은 한 시간 시리즈에서 다른 시간 시리즈로의 고유한, 상호작용적 요소가 없는 정보 흐름을 분리하는 신경망 추정기인 ITENE를 제안한다. MINE에 영감을 받아, KL 발산의 변분 경계, 이중 샘플 신경망 분류기, 경로 기반 기울기 추정을 사용하여 ITE를 정확하게 추정하며, 합성 데이터와 실제 금융 시장 데이터에서 일관된 성능을 보이며 상호작용적 영향을 최소화한다.

ABSTRACT

Quantifying the directionality of information flow is instrumental in understanding, and possibly controlling, the operation of many complex systems, such as transportation, social, neural, or gene-regulatory networks. The standard Transfer Entropy (TE) metric follows Granger's causality principle by measuring the Mutual Information (MI) between the past states of a source signal $X$ and the future state of a target signal $Y$ while conditioning on past states of $Y$. Hence, the TE quantifies the improvement, as measured by the log-loss, in the prediction of the target sequence $Y$ that can be accrued when, in addition to the past of $Y$, one also has available past samples from $X$. However, by conditioning on the past of $Y$, the TE also measures information that can be synergistically extracted by observing both the past of $X$ and $Y$, and not solely the past of $X$. Building on a private key agreement formulation, the Intrinsic TE (ITE) aims to discount such synergistic information to quantify the degree to which $X$ is \emph{individually} predictive of $Y$, independent of $Y$'s past. In this paper, an estimator of the ITE is proposed that is inspired by the recently proposed Mutual Information Neural Estimation (MINE). The estimator is based on variational bound on the KL divergence, two-sample neural network classifiers, and the pathwise estimator of Monte Carlo gradients.

연구 동기 및 목표

• 상호작용 효과에 의해 혼동되는 바, 기존 전이 엔트로피(TE)가 총 정보 흐름만 측정할 뿐 고유한 정보 흐름을 측정하지 못하는 한계를 해결하기 위해.
• 목표 프로세스 Y의 과거에 독립적으로 소스 프로세스 X가 Y를 예측하는 정도를 수량화하는 인트리닉 전이 엔트로피(ITE)의 신뢰할 수 있는 추정기를 개발하기 위해.
• 닫힌 형태의 해가 존재하지 않는 복잡한 시스템, 특히 고차원 또는 비선형 설정에서 ITE의 실용적 추정을 가능하게 하기 위해.
• 알려진 ITE 값을 가진 합성 모델과 실제 금융 시간 시리즈(HSI 및 DJIA)에서 추정기를 검증하여, 고유한 정보 흐름과 상호작용적 정보 흐름을 분리하는 능력을 입증하기 위해.

제안 방법

• 이 방법은 조건부 상호정보량의 변분 하한을 활용하여, 재파rameterized된 Y의 과거를 조건으로 하여 과거 X와 미래 Y 간의 조건부 상호정보량을 최소화하는 방식으로 ITE를 정의한다.
• 신경망 최적화를 위한 미분 가능한 목적함수를 구성하기 위해 KL 발산의 변분 하한을 활용한다.
• 과거 X와 과거 Y의 결합 샘플과 독립 샘플을 구분하는 데 사용되는 이중 샘플 신경망 분류기를 학습시켜, 재파arameterization 기법을 통해 기울기 추정을 가능하게 한다.
• 경로 기반 기울기 추정을 사용하여 신경망을 통해 역전파를 수행함으로써 ITE 목적함수의 엔드 투 엔드 학습을 가능하게 한다.
• 분류기에는 100개의 뉴런을 가진 두 개의 은닉층(ELU 활성화 함수)과, 보조 분포 p(ỹ⁻|y⁻)의 평균 및 로그 분산 출력을 가지는 별도의 200개 뉴런 네트워크를 포함한다.
• 데이터는 학습용 75%와 평가용 25%로 분할하며, 학습률은 0.001로 설정하고, τ=0.9로 기울기 클리핑을 적용한다.

실험 결과

연구 질문

• RQ1 상호작용적 정보 흐름이 존재하는 환경에서 신경망 기반 추정기가 인트리닉 전이 엔트로피(ITE)를 정확하게 추정할 수 있는가?
• RQ2 제안된 ITENE 추정기는 합성 모델에서 표준 TE 및 STE와 비교해 고유한 정보 흐름과 상호작용적 정보 흐름을 얼마나 잘 분리하는가?
• RQ3 표본 수 T가 증가함에 따라 추정기는 일관성과 정확성을 유지하는가?
• RQ4 ITENE는 실제 금융 시간 시리즈인 항성지수(HSI) 및 다우존스 지수(DJIA)에서 고유한 정보 흐름을 탐지하고 정량화할 수 있는가?

주요 결과

• 임계값 λ를 가진 합성 모델에서 ITENE 추정치는 진짜 ITE와 밀접하게 일치하며, λ ≤ -2 및 λ ≥ 2에서는 거의 0에 가까운 STE를 보이며, 이는 정보 흐름이 순수하게 고유하거나 존재하지 않음을 의미한다.
• 중간 값 λ(예: λ=0)에서는 유의미한 STE가 관측되어, X와 Y의 과거를 함께 관측함으로써 Y를 더 잘 예측할 수 있음을 확인하여, 고유 및 상호작용적 성분으로의 분해가 타당함을 검증한다.
• 표본 수 T가 증가함에 따라 TE, ITE, STE, TENE의 모든 추정치가 진짜 값으로 수렴함을 확인하여, ITENE 추정기의 일관성을 입증한다.
• 실제 HSI-DJIA 분석에서 ITENE는 DJIA에서 HSI로의 정보 흐름이 상호작용적 요소보다 훨씬 더 고유한 성격을 띠고 있음을 보여주며, TE가 ITE보다 상당히 높게 나타나, 예측력의 대부분이 DJIA의 자체 과거에 기인하고 공동 효과에 의해 영향을 받지 않는다는 것을 시사한다.
• 기존 TE가 상호작용 기여로 인해 인과적 영향을 과대평가하는 비선형 복잡계에서, 이 방법은 고유한 정보 흐름을 성공적으로 분리한다.