[논문 리뷰] Statistical Measures of Complexity: Why?

David P. Feldman, James P. Crutchfield|ArXiv.org|1997. 08. 22.

Complex Systems and Decision MakingDecision Sciences참고 문헌 4인용 수 16

한 줄 요약

이 논문은 $C_{\rm LMC}$ 통계적 복잡도 측정법을 철저히 평가하여, 그것이 광범위성(extensivity)을 만족하지 못하고, 광범위성을 확보하기 위해 수정된 경우에만 무의미한 함수로 변환됨을 보여준다. 또한, 유의미한 복잡도 측정법은 질서 있는 상태와 무질서 상태의 극한에서 0이 되는 것 외에도, 어떤 구조적 특성을 측정하는지에 대한 명확한 물리적 해석이 있어야 한다고 주장한다.

ABSTRACT

We review several statistical complexity measures proposed over the last decade and a half as general indicators of structure or correlation. Recently, Lopez-Ruiz, Mancini, and Calbet [Phys. Lett. A 209 (1995) 321] introduced another measure of statistical complexity C_{LMC} that, like others, satisfies the ``boundary conditions'' of vanishing in the extreme ordered and disordered limits. We examine some properties of C_{LMC} and find that it is neither an intensive nor an extensive thermodynamic variable and that it vanishes exponentially in the thermodynamic limit for all one-dimensional finite-range spin systems. We propose a simple alteration of C_{LMC} that renders it extensive. However, this remedy results in a quantity that is a trivial function of the entropy density and hence of no use as a measure of structure or memory. We conclude by suggesting that a useful ``statistical complexity'' must not only obey the ordered-random boundary conditions of vanishing, it must also be defined in a setting that gives a clear interpretation to what structures are quantified.

연구 동기 및 목표

• 구조적 복잡도의 일반적 지표로써 LMC 통계적 복잡도 측정법 $C_{\rm LMC}$의 타당성과 유용성을 평가하는 것.
• LMC 측정법이 열역학적 척도 성질, 특히 열역학적 극한에서의 광범위성(extensivity)을 만족하는지 조사하는 것.
• LMC 측정법을 광범위성으로 복원하기 위해 수정한 경우, 그 측정법이 구조적 상관관계에 민감한 의미 있는 측정법이 되는지 여부를 판단하는 것.
• 경계 조건(질서 있는 상태와 무질서 상태에서 0이 되는 것)만으로는 유용한 통계적 복잡도 측정법을 정의하는 데 부족하다는 것을 주장하는 것.
• 복잡도 측정법이 어떤 구조적 특성을 측정하는지에 대한 명확한 물리적 또는 정보학적 해석이 필요하다는 점을 강조하는 것.

제안 방법

• Shannon 엔트로피 $H[Y]$와 비균형도 $D[Y]$를 사용하여 정의된 LMC 복잡도 측정법 $C_{\rm LMC}[Y] = H[Y] \cdot D[Y]$를 분석한다.
• 열역학적 극한에서 일차원 유한 범위 스핀 시스템에서 $C_{\rm LMC}$의 행동을 검토한다.
• 비균형도 항을 재스케일링하여 광범위성을 확보하기 위해 LMC의 수정된 버전을 제안한다.
• 수정된 측정법이 엔트로피 밀도에 대한 무의미한 함수로 변환됨을 보여주며, 구조적 패턴을 구분하는 능력을 상실함을 증명한다.
• 해석적 및 열역학적 추론을 사용하여, 이러한 시스템에서 $C_{\rm LMC}$가 열역학적 극한에서 지수적으로 0으로 수렴함을 보여준다.
• 해석의 명확성 측면에서 초과 엔트로피와 논리적 깊이와 같은 다른 복잡도 측정법과의 비교를 통해 차이를 부각한다.

실험 결과

연구 질문

• RQ1 일차원 스핀 시스템에서 LMC 복잡도 측정법 $C_{\rm LMC}$는 열역학적 극한에서 광범위성 스케일링을 보여주는가?
• RQ2 LMC 측정법을 광범위성으로 복원하기 위해 수정했을 때, 구조적 상관관계에 대한 민감도를 유지할 수 있는가?
• RQ3 질서 있는 상태와 무질서 상태에서 복잡도가 0이 되는 것이 유용한 통계적 복잡도 측정법을 정의하는 데 부족한 이유는 무엇인가?
• RQ4 통계적 복잡도 측정법이 물리적으로 의미 있고 해석 가능하기 위해 필요한 기준은 무엇인가?
• RQ5 초과 엔트로피, 논리적 깊이 등 다른 복잡도 측정법은 해석 가능성과 유용성 측면에서 어떻게 비교되는가?

주요 결과

• 모든 일차원 유한 범위 스핀 시스템에서 LMC 복잡도 측정법 $C_{\rm LMC}$는 열역학적 극한에서 지수적으로 0으로 수렴한다.
• LMC 측정법은 강한 강도나 광범위성 모두를 만족하지 않으며, 열역학적으로 의미 있는 복잡도 측정법을 위한 핵심 요구 조건을 위반한다.
• 광범위성을 확보하기 위해 제안된 수정은 엔트로피 밀도에 대한 무의미한 함수로 변환된다.
• 수정된 측정법은 모든 구조적 상관관계에 대한 민감도를 상실하여 패턴이나 기억을 나타내는 데 의미 있는 지표로 기능하지 못한다.
• 질서 있는 상태와 무질서 상태에서 복잡도가 0이 되는 경계 조건은 유용한 복잡도 측정법을 정의하는 데 필수적이지만, 충분하지 않다.
• 의미 있는 통계적 복잡도 측정법은 그것이 측정하는 구조적 특성에 대한 명확한 물리적 또는 정보학적 해석이 있어야 한다.