[논문 리뷰] Optimal high-level descriptions of dynamical systems

David H. Wolpert, Joshua A. Grochow외 2명|arXiv (Cornell University)|2014. 09. 25.

Model Reduction and Neural Networks참고 문헌 111인용 수 18

한 줄 요약

이 논문은 예측 정확도와 계산 비용을 균형 잡는 방식으로 동역학 시스템의 최적 고수준 기술을 유도하기 위한 공식적 방법인 상태공간 압축(SSI) 프레임워크를 소개한다. 정보이론적 정확도 비용과 계산 비용 측도를 사용하여 최적의 군집화를 정량화함으로써 물리학, 생물학, 경제학 등 다양한 분야에서 잠재적인 거시상태를 체계적으로 유도할 수 있다.

ABSTRACT

To analyze high-dimensional systems, many fields in science and engineering rely on high-level descriptions, sometimes called "macrostates," "coarse-grainings," or "effective theories". Examples of such descriptions include the thermodynamic properties of a large collection of point particles undergoing reversible dynamics, the variables in a macroeconomic model describing the individuals that participate in an economy, and the summary state of a cell composed of a large set of biochemical networks. Often these high-level descriptions are constructed without considering the ultimate reason for needing them in the first place. Here, we formalize and quantify one such purpose: the need to predict observables of interest concerning the high-dimensional system with as high accuracy as possible, while minimizing the computational cost of doing so. The resulting State Space Compression (SSC) framework provides a guide for how to solve for the {optimal} high-level description of a given dynamical system, rather than constructing it based on human intuition alone. In this preliminary report, we introduce SSC, and illustrate it with several information-theoretic quantifications of "accuracy", all with different implications for the optimal compression. We also discuss some other possible applications of SSC beyond the goal of accurate prediction. These include SSC as a measure of the complexity of a dynamical system, and as a way to quantify information flow between the scales of a system.

연구 동기 및 목표

• 과학 및 공학 분야에서 고수준 기술(거시상태)의 목적을 체계화하고 정량화함으로써, 시스템 관측치를 예측하는 데 목적이 있는 바.
• 직관적 또는 특수 정의에 의존하지 않고도 체계적으로 최적의 거시상태를 선택할 수 있는 장기적인 문제를 해결함.
• 예측 정확도와 계산 비용 간의 상호보완적 관계를 최적화하는 통합 프레임워크를 개발함.
• 반복적 압축을 통해 미세구조에서부터 잠재적인 거시상태에 이르기까지 계층적인 기술 체계를 구축할 수 있도록 함.
• 기존의 전이 엔트로피와는 다를 바 있는, 체계의 다양한 척도 간의 정보 흐름을 정량화하는 원칙적인 방법을 제공함.

제안 방법

• 예측 정확도 비용(거시상태가 관측치를 얼마나 잘 예측하는지)과 계산 비용(거시상태를 계산하고 사용하는 데 드는 노력)을 균형 잡는 유틸리티 기반 목표 함수를 제안함.
• 시간 평균 관측치와 거시상태로부터의 예측 간 상호정보량을 사용하여 정확도 비용을 정의함.
• 임의의 상관관계가 발생할 수 있는 것을 방지하기 위해 조건부 엔트로피와 시간 평균 연합 분포를 사용함.
• 미세구조 상태공간 $ X $ 에서 거시상태 $ Y $ 로의 형식적 사상 $ x_t \to y_t $ 를 정의하며, 이는 $ \phi $ 를 통해 동역학을 제어하고 예측 사상 $ \pi $ 를 사용함.
• 이론적 컴퓨터 과학 개념을 활용하여 $ \pi $, $ \phi $ 및 상태 전이 구조의 복잡도에 기반한 계산 비용을 정의함.
• 정확도 비용과 계산 비용을 통합한 전체 SSC 목표 함수를 유도함으로써 최적의 거시상태를 최적화할 수 있도록 함.

실험 결과

연구 질문

• RQ1 정확한 예측과 최소한의 계산 비용을 목표로 할 때, 어떤 기준으로 동역학 시스템의 최적 고수준 기술을 정의할 수 있는가?
• RQ2 계산 복잡도와 예측 정확도 간의 상호보완적 관계를 어떻게 체계적으로 정량화할 수 있는가?
• RQ3 체계 내 척도 간의 정보 흐름은 어떤 역할을 하는가? 기존의 상호시스템 정보 흐름 측도와 어떻게 다를 수 있는가?
• RQ4 SSC 프레임워크는 예측 능력을 유지하면서 점차적으로 시스템을 압축하는 계층적 거시상태를 생성할 수 있는가?
• RQ5 다양한 정보이론적 정확도 측도(예: 상호정보량, 조건부 엔트로피)는 서로 다른 최적의 거시상태를 어떻게 이끌어내는가?

주요 결과

• SSC 프레임워크는 정확도 비용과 계산 비용의 병합 목표 함수를 최소화함으로써 최적의 거시상태를 체계적이고 객관적으로 도출할 수 있는 원칙적인 방법을 제공한다.
• 시간 평균 상호정보량 또는 조건부 엔트로피를 기반으로 한 정보이론적 정확도 비용은순간적인 값보다 더 강건하고 의미 있는 측도를 제공한다.
• 이 프레임워크는 단일 시스템 내 척도 간의 정보 흐름과 별개의 시스템 간의 정보 흐름을 구분하며, 이에 따라 다른 정량화 방법을 정당화한다.
• 전이 엔트로피와 달리, 제안된 측도는 과거 상태의 영향(예: 과거 상태의 반복적 영향)을 통한 직접적인 동역학적 의존성을 포착하여 척도 기반 분석에 필수적인 정보를 반영한다.
• 이 프레임워크는 예측 능력을 유지하면서도 점차적으로 더 압축된 수준의 거시상태를 계층적으로 구성할 수 있도록 한다. 더 압축된 수준의 예측을 보다 덜 압축된 수준에서 수정할 수 있다.
• 이 방법은 기존에 널리 사용되는 거시상태(예: 열역학적 변수, 거시경제 요약 통계)가 이 목표 함수 기준으로 이미 거의 최적임을 드러낸다.