[논문 리뷰] Information topology identifies emergent model classes

Mark K. Transtrum, Gus L. W. Hart외 1명|arXiv (Cornell University)|2014. 09. 22.

Topological and Geometric Data Analysis인용 수 16

한 줄 요약

이 논문은 통계적 모델의 위상적 분석을 통해 부상하는 모델 클래스—물리 시스템의 주요 행동 모드를 포착하는 간소화된 표현—를 식별하는 데 사용하는 정보 위상학(Information Topology)이라는 프레임워크를 소개한다. 관측치가 모델 다양체의 기하학적 및 위상적 성질에 어떻게 영향을 미치는지 분석함으로써, 특히 구조적 식별 가능성과 하세 다이어그램을 통해, 변동에 대한 안정성에 기반해 매개변수를 관련 또는 무관으로 분류하는 방법을 제공하며, 이는 복잡한 시스템으로부터 효과적인 모델을 유도하는 체계적인 방법을 제공한다.

ABSTRACT

We develop a language for describing the relationship among observations, mathematical models, and the underlying principles from which they are derived. Using Information Geometry, we consider geometric properties of statistical models for different observations. As observations are varied, the model manifold may be stretched, compressed, or even collapsed. Observations that preserve the structural identifiability of the parameters also preserve certain topological features (such as edges and corners) that characterize the model's underlying physical principles. We introduce Information Topology in analogy with information geometry as characterizing the "abstract model" of which statistical models are realizations. Observations that change the topology, i.e., "manifold collapse," require a modification of the abstract model in order to construct identifiable statistical models. Often, the essential topological feature is a hierarchical structure of boundaries (faces, edges, corners, etc.) which we represent as a hierarchical graph known as a Hasse diagram. Low-dimensional elements of this diagram are simple models that describe the dominant behavioral modes, what we call emergent model classes. Observations that preserve the Hasse diagram are diffeomorphically related and form a group, the collection of which form a partially ordered set. All possible observations have a semi-group structure. For hierarchical models, we consider how the topology of simple models is embedded in that of larger models. When emergent model classes are unstable to the introduction of new parameters, we classify the new parameters as relevant. Conversely, the emergent model classes are stable to the introduction of irrelevant parameters. In this way, information topology provides a general language for exploring representations of physical systems and their relationships to observations.

연구 동기 및 목표

• 관측치, 수학적 모델, 잠재적인 물리 원리 사이를 연결하는 공식적 언어를 개발하기 위해.
• 다양한 관측 조건에서 예측 가능하고 해석 가능한 적절한 모델 표현을 식별하는 데 도전하는 데에.
• 관측치에 따라 모델 다양체가 어떻게 변화하는지, 특히 모서리와 모서리 같은 위상적 특성들을 통해 기술하기 위해.
• 모델 안정성과 부상 행동에 미치는 영향에 기반해 매개변수를 관련 또는 무관으로 분류하기 위해.
• 위상적 불변량을 사용하여 복잡한 시스템으로부터 효과적인 모델을 유도하는 체계적인 프레임워크를 제공하기 위해.

제안 방법

• 물리 원리와 매개변수 Θ로 정의된 추상적 모델(Y)과 특정 실험 조건 X 하에서 Y의 실현인 통계적 모델(y)을 구분한다.
• 정보 기하학을 적용하여 통계적 추론과 역함수 y⁻¹를 통해 추상적 모델의 매개변수 공간에 거리 척도를 유도한다.
• 다양한 관측치에 따라 모델 다양체의 기하적 성질(예: 곡률, 거리)의 변화를 분석하여 구조적 변화를 탐지한다.
• 모델 다양체의 모서리와 모서리 같은 위상적 특징을 물리 원리의 잠재적 기반으로 식별한다.
• 하세 다이어그램을 사용하여 모델 매개변수 간의 계층적 관계를 표현하며, 저차원 노드는 부상 모델 클래스를 나타낸다.
• 다양체 경계 근사법을 사용하여 하세 다이어그램의 저차원 노드에서 효과적인 모델을 구성한다.

실험 결과

연구 질문

• RQ1 다양한 관측치가 통계적 모델의 기하학적 및 위상적 구조에 어떻게 영향을 미치는가?
• RQ2 모델 다양체의 어떤 위상적 특징이 기본 물리 원리와 부상 행동에 해당하는가?
• RQ3 모델 안정성에 미치는 영향에 기반해 매개변수를 관련 또는 무관으로 분류하는 방법은 무엇인가?
• RQ4 부상 모델 클래스는 모델 다양체의 계층적 구조에서 어떻게 발생하는가?
• RQ5 위상적 불변량인 하세 다이어그램을 어떻게 사용하여 효과적인 모델을 체계적으로 도출할 수 있는가?

주요 결과

• 매개변수의 구조적 식별 가능성을 유지하는 관측치는 그들의 기초 물리 원리를 반영하는 핵심 위상적 특성인 모서리와 모서리를 유지한다.
• 모델의 매개변수 공간의 하세 다이어그램은 저차원 노드가 주요 행동 모드를 나타내는 부상 모델 클래스의 계층적 구조를 드러낸다.
• 관측치가 위상적 성질을 변화시킬 경우 모델 다양체는 '다양체 붕괴'를 겪을 수 있으며, 이는 추상적 모델의 수정이 필요함을 시사한다.
• 부상 모델 클래스의 안정성을 파괴하는 매개변수는 관련 매개변수로 분류되며, 안정성을 유지하는 매개변수는 무관 매개변수로 분류된다.
• 이 프레임워크는 하세 다이어그램 노드를 기반으로 한 다양체 경계 근사법을 사용하여 근사적인 효과적 모델을 체계적으로 구성하는 방법을 제공한다.
• 매개변수의 위상적 분류는 규모 불변 시스템을 초월해 안정성 및 관련성 분석의 적용 범위를 넓힐 수 있도록 하는 리노멀화 그룹의 개념과 유사성을 보인다.