[논문 리뷰] Impact of Embedding View on Cross Mapping Convergence

Robert Martin, Justin Koo외 1명|arXiv (Cornell University)|2019. 03. 07.

Neural dynamics and brain function참고 문헌 2인용 수 3

한 줄 요약

이 논문은 수렴하는 교차 매핑(CCM)에서 시간 지연을 선택하기 위한 강건한 기준으로, 늘어진 이산 레지오르드 정규직교 좌표에서 상호정보량의 두 전역 최댓값 중 더 짧은 것을 사용하는 방법을 제안한다. 노이즈와 유한한 데이터의 변동성에 민감하지 않게 함으로써, 이 방법은 국소 최솟값/최댓값 기준보다 뛰어나며, 혼돈 시스템과 실험적 홀 효과 추진기 데이터에서 양방향 CCM 상관관계를 최대화하는 지연을 일관되게 식별한다.

ABSTRACT

Convergent cross mapping (CCM) provides a powerful technique for exploring causal relationships in nonlinear coupled systems. The method relies on Takens' theorem exploiting that time delay embeddings of infinite length general observations of smooth nonlinear coupled systems are diffeomorphic to the original coupled state space attractor. However, for finite length data that is corrupted by quantization and noise, not every view of the embedding is equally useful at identifying the system dynamics. Classically, the heuristic of the first minimum of mutual information (MI) has been proposed as a means to select appropriate lags for time delay embedding methods. This criteria is sensitive to additive noise and known to fail for systems with monotonically decreasing MI. In this work, alternative heuristics on MI for identifying useful embedding views are explored. The impact of coordinate system and noise level on the identification of a useful time lag representative of the structure in chaotic data is studied. The impact of selecting the first minimum of MI relative to several alternate heuristics for the appropriate time lag in the context of of CCM method is then presented. Both simple dynamical systems as well as experimental data derived from observations of a Hall Effect Thruster plasma propulsion device are used. It is found that the shorter of the two global maxima of MI from signal pairs in a stretched discrete Legendre orthonormal coordinate system is a more robust option relative to the alternatives studied for selecting embedding lag for use with the CCM method. The choice identifies time lags commensurate with the brute force maximum bidirectional CCM correlation results generated. This enhanced performance results from a decreased sensitivity to noise and fluctuations in the estimates of MI when compared to lags derived from local criteria on MI.

연구 동기 및 목표

• 유한하고 노이즈가 있는 조건에서 수렴하는 교차 매핑(CCM)의 시간 지연 임베딩에 최적의 시간 지연을 선택하는 데 도전하는 것.
• 상호정보량의 첫 번째 최솟값과 같은 전통적인 히우리스틱 기법이 노이즈에 민감하고 상호정보량이 단조 감소하는 시스템에서는 실패하는 한계를 극복하는 것.
• 수렴성과 원인 인과 추론의 신뢰성 향상을 위해 변환된 좌표계에서의 상호정보량 기반의 시간 지연 선택 기준을 대안적으로 평가하는 것.
• 홀 효과 추진기에서의 실제 실험 데이터를 통해 전역 최댓값 기반 기준이 국소 극값보다 뛰어나다는 것을 입증하는 것.
• 절차적 파arameter 스윕 없이도 CCM 성능을 향상시키는 강건하고 자동화 가능한 지연 선택 방법을 제공하는 것.

제안 방법

• 원본 시계열을 짧은 지연의 중복성과 노이즈 유도 변동성을 감소시키기 위해 늘어진 이산 레지오르드 정규직교 좌표계로 변환하여 상관관계를 분리한다.
• 다양한 지연 범위에서 시계열과 그 시간 지연된 형태 간의 상호정보량을 계산하여 데이터의 구조적 패턴을 식별한다.
• 정규직교 좌표계에서 상호정보량의 두 전역 최댓값을 식별하고, 더 짧은 지연을 임베딩 시간 지연으로 선택한다.
• 합성 혼돈 시스템과 실험적 홀 추진기 데이터를 사용하여 선택된 지연을 다른 기준(예: 첫 번째 국소 최솟값, 첫 번째 국소 최댓값)과 비교한다.
• 다양한 지연 범위에서의 상호 CCM 상관관계를 평가하여 수렴 품질을 평가하기 위해 이중 방향 CCM 상관관계를 평가한다.
• 이론적 분석, 저차원 동역학계(예: 로렌츠)의 수치 시뮬레이션, 그리고 실제 실험 데이터를 조합하여 방법을 검증한다.

실험 결과

연구 질문

• RQ1 시간 지연의 선택은 유한하고 노이즈가 있는 데이터 세트에서 수렴하는 교차 매핑(CCM)의 수렴성과 정확성에 어떻게 영향을 미치는가?
• RQ2 왜 전통적인 히우리스틱 기법인 상호정보량의 첫 번째 최솟값은 일부 혼돈 시스템과 노이즈 조건에서 실패하는가?
• RQ3 정규직교 좌표에서 상호정보량의 전역 최댓값이 국소 극값보다 시간 지연 선택에 더 강건한 대안이 될 수 있는가?
• RQ4 늘어진 이산 레지오르드 정규직교 변환은 지연 선택을 위한 상호정보량 추정의 신뢰성을 어떻게 향상시키는가?
• RQ5 제안된 방법은 합성 모델과 홀 효과 추진기에서의 실제 실험 데이터에서 기존 기준보다 어느 정도 뛰어나게 성능을 발휘하는가?

주요 결과

• 늘어진 이산 레지오르드 정규직교 좌표에서 상호정보량의 두 전역 최댓값 중 더 짧은 것은 합성 및 실험 데이터 세트 전반에서 가장 높은 이중 방향 CCM 상관관계를 유도하는 시간 지연을 일관되게 식별한다.
• 이 방법은 첫 번째 국소 최댓값 또는 최솟값과 같은 국소 기준보다 노이즈와 유한한 데이터의 영향에 훨씬 더 강건하며, 변동성으로 인한 잘못된 촉발에 취약한 국소 기준보다 뛰어나다.
• 정규직교 좌표계에서의 상호정보량 곡선은 표준 좌표계에서의 측정 알고리즘의 수치적 오류로 인해 발생하는 짧은 지연에서의 인위적인 높은 값들을 제거한다.
• 노이즈가 있는 로렌츠 모델에서 전역 최댓값 기준은 상관관계 강도와 안정성 측면에서 첫 번째 국소 최댓값보다 뛰어난 성능을 보였다.
• 이 방법은 이산화 및 유한한 표본 크기로 인한 알고리즘 오류에 민감도를 감소시켜 실제 원인 인과 추론 작업에서 자동 적용에 적합하다.
• 정규직교 좌표의 사용은 데이터의 비랜덤한 구조를 강조함으로써 더 개념적으로 타당한 지연 선택 기반을 제공하며, 원인 동역학을 포착하는 목표와 부합한다.