[논문 리뷰] An empirical evaluation of alternative methods of estimation for Permutation Entropy in time series with tied values

Francisco Traversaro, Marcelo Risk외 2명|arXiv (Cornell University)|2017. 05. 31.

Heart Rate Variability and Autonomic Control인용 수 4

한 줄 요약

이 논문은 고정값이 있는 시간열에서 순열 엔트로피를 추정하기 위한 새로운 베이지안 결측치 보정 방법을 제안한다. 이는 기존의 무작위 보정, 완전 케이스, 시간 순서 보정과 같은 방법들을 능가하며, 고정 패턴을 결측치로 모델링하고 시간열의 구조에서 유도된 사전 확률을 사용함으로써 역학적 패턴을 유지하고 편향 및 평균 제곱 오차를 최소화한다. 특히 고정값 빈도가 높은 심박수 변동성(HRV) 데이터에서 뛰어난 성능을 보인다.

ABSTRACT

Bandt and Pompe introduced Permutation Entropy in 2002 for Time Series where equal values, xt1 = xt2, t1 = t2, were neglected and only inequalities between the xt were considered. Since then, this measure has been modified and extended, in particular in cases when the amount of equal values in the series can not be neglected, (i.e. heart rate variability (HRV) time series). We review the different existing methodologies that treats this subject by classifying them according to their different strategies. In addition, a novel Bayesian Missing Data Imputation is presented that proves to outperform the existing methodologies that deals with type of time series. All this facts are illustrated by simulations and also by distinguishing patients suffering from Congestive Heart Failure from a (healthy) control group using HRV time series

연구 동기 및 목표

• 밴트와 폼페의 원래 순열 엔트로피 방법은 연속 데이터를 가정하고 고정값을 무시한다는 한계를 해결하기 위해.
• 완전 케이스, 무작위 보정, 시간 순서 보정과 같은 기존의 고정값 처리 방법들을 평가하고 비교하기 위해.
• 고정 패턴을 결측치로 간주하고 사전 확률을 사용해 기호를 할당하는 새로운 베이지안 결측치 보정 방법을 제안하고 검증하기 위해.
• 모의 실험과 고정값 빈도가 높은 심부전 환자에 대한 실제 HRV 시간열을 이용한 분류를 통해 본 방법의 우수성을 입증하기 위해.
• 기호 알파벳을 확장하거나 무작위 노이즈를 사용하는 것이 역학적 구조를 유지하지 못하고 편향된 엔트로피 추정을 초래한다는 것을 보여주기 위해.

제안 방법

• 베이지안 보정 방법은 고정 패턴을 결측치로 모델링하고, 시간열의 완전 케이스에서 유효한 순열의 빈도에서 유도된 사전 확률을 기반으로 기호를 할당한다.
• 비고정 패턴의 경험적 분포(즉, 완전 케이스 추정기)를 사전 확률로 사용하여 특정 순열이 고정 패턴에 할당될 확률을 결정한다.
• 각 고정 패턴에 대해 관측된 값과 구조적으로 일치하는 가능한 순열 집합에서 상대 빈도에 따라 가중치를 적용해 샘플링한다.
• 시간 순서 보정과 달리 고정값을 처리하기 위한 고정 규칙을 도입하지 않기 때문에 인위적인 순서를 부여하지 않아 진정한 역학적 구조를 유지한다.
• 비고정 패턴에서 각 순열의 상대 빈도를 계산하고 이를 고정 패턴에 대한 확률적 할당의 가중치로 사용하여 구현한다.
• 기호 알파벳 확장(예: 비안 등 2012) 및 무작위 보정과 같은 대안 전략과 대비하여, 이는 패턴의 구조를 왜곡시킨다는 점을 보여준다.

실험 결과

연구 질문

• RQ1 다양한 방법들이 고정값을 처리하는 순열 엔트로피 추정에서 편향과 평균 제곱 오차(MSE) 측면에서 어떻게 비교되는가?
• RQ2 고정 패턴을 결측치로 간주하고 사전 확률을 사용하는 베이지안 보정 방법이 기존 방법보다 시간열의 진정한 역학적 구조를 더 잘 유지할 수 있는가?
• RQ3 기호 알파벳을 확장하는 것(예: 순위 기반 또는 연차 기반 확장 알파벳 사용)이 더 정확한 엔트로피 추정을 가능하게 하는가, 아니면 기저 역학을 왜곡하는가?
• RQ4 무작위 보정은 특히 과도한 추정과 금지 패턴의 가려짐 측면에서 순열 엔트로피 추정에 어떤 영향을 미치는가?
• RQ5 고정값 빈도가 높은 상황에서 베이지안 보정 방법이 심박수 변동성(HRV) 시간열을 이용해 건강한 환자와 심부전 환자를 신뢰성 있게 구분할 수 있는가?

주요 결과

• 베이지안 결측치 보정 방법은 다양한 시뮬레이션 환경에서 다른 모든 방법보다 편향과 평균 제곱 오차(MSE)를 크게 줄이는 데 성공했다.
• 무작위 보정은 순열 엔트로피를 과도하게 추정하고 금지 패턴을 인위적으로 유도함으로써 정확한 역학적 추론을 방해한다.
• 완전 케이스 방법은 고정 패턴 수가 시간열 길이에 비해 작을 경우에만 좋은 추정기로 유지되며, 이 외에는 비정상적인 편향을 유발한다.
• 기호 알파벳을 확장하는 것(예: 순위 기반 또는 연차 기반 확장 알파벳 사용)은 서로 다른 패턴이 동일한 기호로 매핑되어 패턴 간의 구조적 차이를 유지하지 못함을 보여준다.
• 베이지안 방법은 HRV 데이터를 이용한 심부전 환자와 건강한 대조군 간의 분류 성능에서 뛰어난 성능을 보이며, 시간열의 진정한 역학적 구조를 성공적으로 유지함을 입증했다.
• 실제 HRV 데이터에서는 다른 방법들보다 높은 분류 정확도를 달성하여, 본 방법의 강건성과 실용적 유용성을 확인했다.