[논문 리뷰] Transfer Entropy on Rank Vectors

Dimitris Kugiumtzis|arXiv (Cornell University)|2010. 07. 02.

Neural dynamics and brain function참고 문헌 33인용 수 24

한 줄 요약

이 논문은 응답 변수의 다음 단일 시점의 순위를 전체 순위 벡터 대신 사용하고, 다중 향후 시점(T>1)으로 일반화함으로써 Symbolic Transfer Entropy(ste)의 보정 및 확장된 버전인 Transfer Entropy on Rank Vectors(terv)를 제안한다. terv는 특히 노이즈가 있는 상황에서 정보 흐름 탐지 정확도를 향상시키며, 노이즈가 많거나 복잡한 상황에서 기존 ste 및 전통적인 Transfer Entropy(te)보다 뛰어난 성능을 보인다. 특히 향후 수준 T>1를 사용할 경우 성능 향상이 두드러진다.

ABSTRACT

Transfer entropy (TE) is a popular measure of information flow found to perform consistently well in different settings. Symbolic transfer entropy (STE) is defined similarly to TE but on the ranks of the components of the reconstructed vectors rather than the reconstructed vectors themselves. First, we correct STE by forming the ranks for the future samples of the response system with regard to the current reconstructed vector. We give the grounds for this modified version of STE, which we call Transfer Entropy on Rank Vectors (TERV). Then we propose to use more than one step ahead in the formation of the future of the response in order to capture the information flow from the driving system over a longer time horizon. To assess the performance of STE, TE and TERV in detecting correctly the information flow we use receiver operating characteristic (ROC) curves formed by the measure values in the two coupling directions computed on a number of realizations of known weakly coupled systems. We also consider different settings of state space reconstruction, time series length and observational noise. The results show that TERV indeed improves STE and in some cases performs better than TE, particularly in the presence of noise, but overall TE gives more consistent results. The use of multiple steps ahead improves the accuracy of TE and TERV.

연구 동기 및 목표

• 정보 흐름의 일관된 추정을 보장하기 위해 Symbolic Transfer Entropy(ste)의 정의를 표준 Transfer Entropy(te) 프레임워크와 일치시켜 보정하는 것.
• 실제 데이터에서 미세한 구조 왜곡에 덜 민감한 순위 기반 추정을 통해 관측 노이즈에 대한 강건성을 향상시키는 것.
• 결합된 시스템에서 지연되거나 분산된 정보 흐름을 포착하기 위해 향후 시간 수준을 한 단계 이상(T>1)으로 확장하는 것.
• 다양한 시스템 복잡도, 임베딩 차원, 시간 시리즈 길이, 노이즈 수준에서 terv, te, ste의 성능을 평가하고 비교하는 것.
• 상관 합 및 근접 이웃 방법을 사용하여 고차원 상태 공간에서의 엔트로피 추정의 안정성과 정확도를 평가하는 것.

제안 방법

• 응답 변수의 다음 단일 시점 $ y_{t+1} $ 의 순위를 현재 재구성된 벡터 $ \mathbf{y}_t $ 와 비교하여 terv를 정의함으로써 te 프레임워크와의 일관성을 확보한다.
• T > 1 인 경우 향후 반응 벡터를 $ y_{t+1}, \ldots, y_{t+T} $ 의 순위를 포함하도록 수정하여, 더 긴 시간 수준에서의 정보 흐름 탐지가 가능하도록 한다.
• 특히 te 및 terv에 대해 고차원 공간에서의 구간 나누기 문제를 방지하기 위해 엔트로피 추정에 상관 합을 사용한다.
• 특히 노이즈와 고차원성 하에서 더 안정적인 대안으로 근접 이웃 추정을 적용하여 엔트로피 추정을 수행한다.
• 성능 평가를 위해 양방향 커플링에서 측정값을 사용하여 수신기 작동 특성(roc) 곡선을 구축하고, auroc를 계산한다.
• 임베딩 차원 $ m_x, m_y $, 지연 $ \tau_x, \tau_y $, 시간 시리즈 길이 $ N $, 커플링 강도 $ c $, 노이즈 수준을 체계적으로 변화시켜 강건성 테스트를 수행한다.

실험 결과

연구 질문

• RQ1 전체 순위 벡터 대신 다음 단일 시점 $ y_{t+1} $ 의 순위를 사용하는 방식으로 ste를 보정함으로써 정보 흐름 추정의 정확도가 향상되는가?
• RQ2 향후 수준을 $ T=1 $ 에서 $ T>1 $ 로 확장함으로써 약한 커플링 시스템에서 방향성 있는 커플링 탐지에 어떤 영향을 미치는가?
• RQ3 관측 노이즈 수준이 다양할 경우 te, ste, terv의 성능는 어떻게 비교되는가?
• RQ4 임베딩 차원 선택이 정보 흐름 측정치의 편향과 정확도에 어떤 영향을 미치는가?
• RQ5 terv에서 다단계 향후 순위를 사용할 경우, 특히 노이즈 환경에서 ste보다 더 안정적이고 정확한 탐지가 이루어지는가?

주요 결과

• terv는 정의의 일관성 문제를 보정함으로써 ste보다 훨씬 더 정확하고 신뢰할 수 있는 정보 흐름 추정을 가능하게 하여 성능을 크게 향상시킨다.
• 특히 향후 수준 T>1를 사용할 경우, 노이즈가 있는 조건에서 te 및 ste보다 커플링 방향 탐지 성능이 뛰어나다.
• T>1를 사용하면 te 및 terv의 탐지 정확도가 향상되지만, 순위 벡터 구성 방식으로 인해 ste의 성능 향상은 이루어지지 않는다.
• 모든 측정치에서 임베딩 차원이 증가할수록 편향이 증가하지만, 순위 기반 측정치(ste 및 terv)는 te보다 더 큰 양의 편향을 보이며, 특히 복잡도가 낮은 시스템에서 복잡도가 높은 시스템으로의 방향에서 두드러진다.
• 상관 합을 통한 te 추정은 노이즈 하에서 분산이 증가하지만, ste 및 terv는 더 강건하여 노이즈가 많은 데이터에서도 우수한 성능 유지를 한다.
• 근접 이웃 엔트로피 추정은 특히 고차원 상태 공간과 노이즈 환경에서 구간 기반 방법보다 더 안정적이다.