[논문 리뷰] Dynamic Entropies, Long--Range Correlations and Fluctuations in Complex Linear Structures

W. Ebeling, Alexander Neiman외 1명|ArXiv.org|1995. 07. 28.

Elasticity and Wave Propagation인용 수 12

한 줄 요약

이 논문은 샤논 엔트로피, 레플-지브 압축, 상관 분석을 사용하여 DNA와 텍스트와 같은 기호 서열에서 장거리 상관관계와 동적 엔트로피를 조사한다. 스케일링 지수와 저주파수 푸리에 성분을 통해 수백에서 수천 개의 문자에 걸쳐 퍼지는 장파장 변동을 밝혀내며, 샤프링 실험을 통해 다양한 측정법이 서로 다른 길이 척도에서 상관관계를 감지함을 확인한다.

ABSTRACT

We investigate symbolic sequences and in particular information carriers as e.g. books and DNA--strings. First the higher order Shannon entropies are calculated, a characteristic root law is detected. Then the algorithmic entropy is estimated by using Lempel--Ziv compression algorithms. In the third section the correlation function for distant letters, the low frequency Fourier spectrum and the characteristic scaling exponents are calculated. We show that all these measures are able to detect long--range correlations. However, as demonstrated by shuffling experiments, different measures operate on different length scales. The longest correlations found in our analysis comprise a few hundreds or thousands of letters and may be understood as long--wave fluctuations of the composition.

연구 동기 및 목표

• 복잡한 선형 구조물인 DNA와 문장과 같은 서열에서의 동적 엔트로피를 분석하기 위해.
• 다양한 정보이론적 측정법을 사용하여 기호 서열의 장거리 상관관계를 탐지하고 특성화하기 위해.
• 서열의 구성적 구조에서 대규모 변동의 역할을 이해하기 위해.
• 다양한 길이 척도에서 엔트로피 및 상관관계 측정법의 민감도를 비교하기 위해.

제안 방법

• 정보 내용을 정량화하고 루트 법칙 스케일링을 탐지하기 위해 고차수 샤논 엔트로피 계산.
• 알고리즘적 엔트로피를 평가하기 위해 레플-지브 압축 알고리즘을 사용한 추정.
• 멀리 떨어진 문자들 간의 상관 함수 계산을 통해 장거리 의존성 탐지.
• 스케일링 행동과 장파장 변동을 탐지하기 위해 저주파수 푸리에 스펙트럼 분석.
• 각 측정법의 강건성과 척도별 민감도를 시험하기 위해 샤프링 실험 수행.
• 상관관계의 등급수 감쇠를 특성화하기 위해 스케일링 지수 적용.

실험 결과

연구 질문

• RQ1 기호 서열인 DNA와 텍스트에서 고차수 샤논 엔트로피의 스케일링 행동은 어떠한가?
• RQ2 레플-지브 압축 추정치는 장거리 선형 서열의 알고리즘적 복잡도를 어떻게 반영하는가?
• RQ3 멀리 떨어진 문자들 간의 상관 함수는 어느 정도까지 장거리 의존성을 드러내는가?
• RQ4 이 서열의 저주파수 스펙트럼 성분의 성격은 무엇이며, 구성 변동과 어떻게 관련되는가?
• RQ5 엔트로피, 상관관계, 스펙트럼 등의 다양한 정보이론적 측정법은 서로 다른 길이 척도에서 상관관계를 어떻게 감지하는가?

주요 결과

• 고차수 샤논 엔트로피에서 특징적인 루트 법칙이 관찰되어 기호 서열에서 체계적인 스케일링 행동을 나타냄.
• 레플-지브 압축은 알고리즘적 엔트로피를 성공적으로 추정하여 서열의 내재적 복잡도를 반영함.
• 상관 함수는 수백에서 수천 개의 문자에 걸쳐 퍼지는 장거리 상관관계를 드러냄.
• 저주파수 푸리에 스펙트럼은 장파장 변동과 일치하는 등급수 행동을 보임.
• 샤프링 실험을 통해 각 측정법—샤논 엔트로피, 압축, 상관관계—가 서로 다른 길이 척도에서 작용하는 것으로 확인됨.
• 감지 가능한 가장 긴 상관관계는 수백에서 수천 개의 문자 정도의 척도였으며, 이는 대규모 구성 변동으로 해석됨.