[논문 리뷰] The Origins of Computational Mechanics: A Brief Intellectual History and Several Clarifications

James P. Crutchfield|arXiv (Cornell University)|2017. 10. 18.

Complex Systems and Time Series Analysis참고 문헌 98인용 수 3

한 줄 요약

이 논문은 1970년대에서 1980년대에 걸친 혼돈 역학과 시계열 분석 분야의 연구에서 계산역학의 지적 기원을 추적하며, 복잡계에서의 구조와 내재된 계산을 정량화하기 위한 표준적이고 최소화된 표현으로 인과 상태와 ε-기계를 확립한다. 장기적인 비판을 해소하기 위해 역사적 배경을 명확히 하고 현대 방법론이 초기 접근 방식을 능가함을 보여주며, 계산역학이 복잡계의 계산적 성격을 이해하는 데 있어 견고하고 기초적인 프레임워크로 굳어졌음을 확인한다.

ABSTRACT

The principle goal of computational mechanics is to define pattern and structure so that the organization of complex systems can be detected and quantified. Computational mechanics developed from efforts in the 1970s and early 1980s to identify strange attractors as the mechanism driving weak fluid turbulence via the method of reconstructing attractor geometry from measurement time series and in the mid-1980s to estimate equations of motion directly from complex time series. In providing a mathematical and operational definition of structure it addressed weaknesses of these early approaches to discovering patterns in natural systems. Since then, computational mechanics has led to a range of results from theoretical physics and nonlinear mathematics to diverse applications---from closed-form analysis of Markov and non-Markov stochastic processes that are ergodic or nonergodic and their measures of information and intrinsic computation to complex materials and deterministic chaos and intelligence in Maxwellian demons to quantum compression of classical processes and the evolution of computation and language. This brief review clarifies several misunderstandings and addresses concerns recently raised regarding early works in the field (1980s). We show that misguided evaluations of the contributions of computational mechanics are groundless and stem from a lack of familiarity with its basic goals and from a failure to consider its historical context. For all practical purposes, its modern methods and results largely supersede the early works. This not only renders recent criticism moot and shows the solid ground on which computational mechanics stands but, most importantly, shows the significant progress achieved over three decades and points to the many intriguing and outstanding challenges in understanding the computational nature of complex dynamic systems.

연구 동기 및 목표

• 1970년대와 1980년대 유체 난류와 혼돈 역학 연구에서 유래된 계산역학의 지적 유산을 추적하기 위해.
• 특히 엔트로피 수렴과 초과 엔트로피 정의에 관해 지속적인 오해를 명확히 하기 위해.
• 현대 계산역학 방법론과 결과가 초기 접근 방식을 능가함을 보여주어 최근의 비판이 더 이상 타당하지 않음을 입증하기 위해.
• ε-기계가 복잡한 과정의 유일한 최소 예측기임을 재확인하기 위해.
• 핵심 목표인 구조, 조직, 내재된 계산의 정량화가 일관되고 성공적으로 이행되었음을 보여줌으로써 분야의 기초적 지위를 방어하기 위해.

제안 방법

• 논문은 계산역학의 주요 발전을 역사적 분석을 통해 다루며, 유체 난류에서의 애트랙터 재구성에서 인과 상태 정의로의 전환을 중심으로 한다.
• ε-기계는 과거 이력을 동일한 미래 예측을 유도하는 집합으로 분할함으로써 유도된 표준적이고 최소화된 과정 표현으로서 도입된다.
• 이 방법은 미래 결과에 대한 예측 분포가 동일한 과거 궤적 집합을 동치 클래스로 정의하는 인과 상태에 기반한다.
• 알고리즘적 정보 이론과 초과 엔트로피, 엔트로피율과 같은 정보 이론적 측정치를 사용하여 확률적 과정의 기억과 상관관계를 정량화한다.
• 정규화된 초과 엔트로피를 사용하여 엔트로피 추정치의 수렴을 연구하는 스케일링 프록시로 활용하며, 상전이 이론과 유사한 점을 제시한다.
• 최근의 주장에 대해 원저의 내용과 분야의 전체적인 발전 맥락을 대조함으로써 비판한다.

실험 결과

연구 질문

• RQ1 계산역학은 유체 난류에서의 애트랙터 재구성과 시계열에서의 운동 방정식 추정 연구에서 어떻게 유래되었는가?
• RQ2 최근의 계산역학 기초 기여에 대한 비판은 왜 근거 없고 역사적으로 오해된 것인가?
• RQ3 ε-기계는 어떻게 복잡계의 최소적이고 최적의 예측기 역할을 하며, 이를 통해 시스템의 내재된 계산을 어떻게 정의하는가?
• RQ4 정규화된 초과 엔트로피는 어떻게 엔트로피 수렴을 위한 스케일링 도구로 기능하며, 순수한 초과 엔트로피와는 무엇이 다른가?
• RQ5 현대 계산역학 방법론이 얼마나 많은 정도로 초기 접근 방식과 그에 대한 비판을 초월하고 있거나 더 이상 유효하지 않게 만들었는가?

주요 결과

• ε-기계는 과정의 인과적 구조를 고유하고 최소적이며 최적의 방식으로 표현하며, 과거에 얼마나 많은 정보가 저장되어 있고, 어떻게 조직되어 있으며, 미래 예측에 어떻게 활용되는지를 직접적으로 설명한다.
• 계산역학의 핵심 기여—인과 상태를 통한 구조 정의—는 1980년대에 확립되었으며 이후 통계역학에서 양자 정보에 이르기까지 다양한 분야에서 검증되었다.
• 정규화된 초과 엔트로피는 오해의 대상이 아니라 엔트로피 수렴 연구를 위한 잘 정당화된 스케일링 프록시이며, 진짜 초과 엔트로피와 명확한 수학적 관계를 가진다.
• 최근의 비판은 원저의 오해, 현대적 가정을 초기 연구에 투영함, 그리고 분야의 30년에 걸친 진화를 忽시함으로써 기인한다.
• 분야는 크게 성숙했다: 유한 및 무한 상태 마르코프 과정, 비마르코프 시스템, 정보 측정치 분야의 현대적 결과들은 초기 방법론을 흡수하고도 뛰어넘고 있다.
• 원시 데이터로부터 자동으로 이론을 수립하는 목표—'인공 과학'—는 여전히 핵심적이고 해결되지 않은 과제로서, 계산역학의 지속적인 중요성을 입증한다.