[논문 리뷰] Comparing entropy with tests for randomness as a measure of complexity in time series

Chee Chun Gan, Gerard P. Learmonth|arXiv (Cornell University)|2015. 12. 02.

Complex Systems and Time Series Analysis참고 문헌 7인용 수 8

한 줄 요약

이 논문은 시간 시리즈 데이터에서 엔트로피 기반 복잡도 측정법과 통계적 난수 테스트—특히 러닝 테스트와 순열 테스트—를 비교한다. 연구 결과, 이러한 난수 테스트가 엔트로피 점수와 높은 상관관계를 보이며, 이는 시간 시리즈의 복잡도 평가에 있어 엔트로피 기반 측정법의 유의미한 대안 또는 보완이 될 수 있음을 시사한다. 특히 무작위 동역학과 구조적 동역학을 구분하는 데 유용하다.

ABSTRACT

Entropy measures have become increasingly popular as an evaluation metric for complexity in the analysis of time series data, especially in physiology and medicine. Entropy measures the rate of information gain, or degree of regularity in a time series e.g. heartbeat. Ideally, entropy should be able to quantify the complexity of any underlying structure in the series, as well as determine if the variation arises from a random process. Unfortunately current entropy measures mostly are unable to perform the latter differentiation. Thus, a high entropy score indicates a random or chaotic series, whereas a low score indicates a high degree of regularity. This leads to the observation that current entropy measures are equivalent to evaluating how random a series is, or conversely the degree of regularity in a time series. This raises the possibility that existing tests for randomness, such as the runs test or permutation test, may have similar utility in diagnosing certain conditions. This paper compares various tests for randomness with existing entropy-based measurements such as sample entropy, permutation entropy and multi-scale entropy. Our experimental results indicate that the test statistics of the runs test and permutation test are often highly correlated with entropy scores and may be able to provide further information regarding the complexity of time series.

연구 동기 및 목표

• 기존의 난수 테스트가 시간 시리즈 분석에서 엔트로피 기반 복잡도 측정법의 효과적인 대안이 될 수 있는지 평가하는 것.
• 엔트로피 측정법이 진정으로 구조적 복잡도를 반영하는지, 아니면 단지 난수성을 반영하는지의 정도를 조사하는 것.
• 샘플 엔트로피, 순열 엔트로피, 다중 척도 엔트로피 등의 엔트로피 지표와 러닝 테스트, 순열 테스트 등의 통계적 난수 테스트 간 성능 및 상관관계를 비교하는 것.
• 생리학적 또는 복잡계에서 난수 테스트가 엔트로피 측정법과 동일하거나 추가적인 정보를 제공하는지 여부를 규명하는 것.
• 카디올로지 및 신경과학 등 엔트로피가 현재 적용되는 분야에서 난수 테스트의 유용성을 평가하는 것.

제안 방법

• 생리학적 및 합성 자료에서 유래한 시간 시리즈 데이터에 대해 샘플 엔트로피, 순열 엔트로피, 다중 척도 엔트로피를 적용하였다.
• 동일한 시간 시리즈에 대해 러닝 테스트와 순열 테스트를 수행하여 난수 수준을 평가하였다.
• 러닝 테스트 및 순열 테스트의 통계량과 엔트로피 점수 간 상관계수를 산출하였다.
• 확정적 카오스, 주기적, 난수 등 알려진 구조를 가진 합성 시간 시리즈를 활용하여 방법의 타당성을 검증하였다.
• 실제 생리학적 자료(예: 심박수 변동성)를 분석하여 임상적 적용 가능성을 시험하였다.
• 통계적 추론을 활용하여 엔트로피 측정법과 난수 테스트의 민감도 및 특이도를 비교하였다.

실험 결과

연구 질문

• RQ1 엔트로피 기반 측정법이 시간 시리즈에서 진정으로 구조적 복잡도를 반영하는지, 아니면 주로 난수성을 반영하는가?
• RQ2 다양한 시간 시리즈 유형에서 러닝 테스트 및 순열 테스트의 통계량이 기존 엔트로피 지표와 얼마나 상관관계가 있는가?
• RQ3 러닝 테스트 및 순열 테스트와 같은 난수 테스트가 엔트로피 기반 복잡도 평가에서 효과적으로 대체 또는 보완이 될 수 있는가?
• RQ4 심박수 데이터와 같은 생리학적 시간 시리즈에 대해 엔트로피 측정법과 난수 테스트가 일관된 결과를 도출하는가?
• RQ5 엔트로피 측정법과 난수 테스트가 시간 시리즈 복잡도 평가에서 어떻게 다를 수 있는가?

주요 결과

• 러닝 테스트 및 순열 테스트의 통계량은 다양한 시간 시리즈 유형에서 엔트로피 점수와 높은 상관관계를 보였다.
• 엔트로피 측정법이 시간 시리즈의 난수성 또는 규칙성 정도를 주로 반영하고 있으며, 구조적 복잡도 자체를 캡처하는 데에는 한계가 있음을 확인하였다.
• 많은 경우에서 러닝 테스트 및 순열 테스트는 엔트로피 기반 지표와 통계적으로 구별되지 않게 시간 시리즈를 무작위 또는 구조적 상태로 분류하는 데 성공하였다.
• 특히 순열 테스트는 순열 엔트로피와 매우 강한 일치를 보이며, 이 두 요소 사이에 근본적인 관계가 있음을 시사한다.
• 심박수 변동성과 같은 생리학적 시간 시리즈에서는 엔트로피와 난수 테스트가 병적 상태에서의 복잡도 감소 패턴을 유사하게 탐지하였다.
• 본 연구는 현재 사용되는 엔트로피 측정법이 난수 탐지 기능과 기능적으로 동일할 수 있으며, 이는 복잡도 지표로서의 해석에 대한 질문을 제기한다.