[논문 리뷰] The Stochastic complexity of spin models: How simple are simple spin models?

Alberto Beretta, Claudia Battistin외 3명|arXiv (Cornell University)|2017. 02. 24.

Bayesian Modeling and Causal Inference인용 수 3

한 줄 요약

이 논문은 정보이론적 원리를 사용하여 임의의 순서의 상호작용을 가진 스핀 모델의 확률적 복잡도를 조사한다. 이는 단순성이 저차수의 상호작용에서 비롯되지 않으며, 비중첩 변수 그룹 간의 국소적 통계적 의존성에서 비롯된다는 것을 보여준다. 이러한 국소적 의존성 덕분에 모델은 단순해지며, 반면 전연결된 이항 상호작용 모델은 광범위한 상호작용 구조로 인해 매우 높은 복잡도를 가진다.

ABSTRACT

Simple models, in information theoretic terms, are those with a small stochastic complexity. We study the stochastic complexity of spin models with interactions of arbitrary order. Invariance with respect to bijections within the space of operators allows us to classify models in complexity classes. This invariance also shows that simplicity is not related to the order of the interactions, but rather to their mutual arrangement. Models where statistical dependencies are localized on non-overlapping groups of few variables (and that afford predictions on independencies that are easy to falsify) are simple. On the contrary, fully connected pairwise models, which are often used in statistical learning, are highly complex because of their extended set of interactions.

연구 동기 및 목표

• 임의의 상호작용 순서를 가진 스핀 모델의 확률적 복잡도를 이해하기 위해.
• 연산자 공간에서의 전단사 변환에 대한 불변성에 기반해 스핀 모델을 복잡도 클래스로 분류하기 위해.
• 저차수 상호작용이 스핀 시스템에서 본질적으로 단순성을 암시하는지 여부를 규명하기 위해.
• 국소적 의존성 모델과 전연결된 이항 모델 간의 복잡도를 대비하기 위해.

제안 방법

• 스핀 시스템의 모델 복잡도를 정량화하기 위해 정보이론적 확률적 복잡도를 적용한다.
• 연산자 공간에서의 전단사 변환에 대한 불변성을 사용하여 모델의 동치 클래스를 정의한다.
• 상호작용의 순서가 아니라 그 구조적 배열에 기반해 모델을 분류한다.
• 상호작용 패턴이 통계적 독립성의 반증 가능성에 어떻게 영향을 주는지 분석한다.
• 비중첩 그룹 간의 국소적 상호작용과 전연결된 이항 모델을 비교한다.
• 형식적 불변 원리를 사용하여 복잡도가 상호작용의 정도가 아니라 배열에 따라 결정됨을 보여준다.

실험 결과

연구 질문

• RQ1 임의의 순서의 상호작용을 가진 스핀 모델의 확률적 복잡도는 무엇에 의해 결정되는가?
• RQ2 연산자 공간에서의 전단사 변환에 대한 불변성이 모델 분류에 어떻게 영향을 주는가?
• RQ3 형식적으로 단순한 전연결된 이항 모델은 왜 광범위한 상호작용으로 인해 매우 높은 복잡도를 가지는가?
• RQ4 높은 차수의 상호작용이 있더라도 국소적 의존성이 있는 모델은 여전히 단순하게 간주될 수 있는가?
• RQ5 통계적 의존성의 배열이 모델 단순성에 어떤 역할을 하는가?

주요 결과

• 소수의 변수 그룹에 국소화된 통계적 의존성을 가진 모델은 낮은 확률적 복잡도를 보인다.
• 스핀 모델의 단순성은 상호작용의 차수에 의해 결정되지 않으며, 그 구조적 배열에 의해 결정된다.
• 전연결된 이항 모델은 광범위하고 얽히는 상호작용 집합으로 인해 매우 높은 복잡도를 가진다.
• 국소적 의존성을 가진 모델은 독립성에 대한 예측을 쉽게 반증할 수 있어 단순성을 향상시킨다.
• 연산자 공간에서의 전단사 변환에 대한 불변성은 복잡도가 재라벨링에 대해 불변임을 드러내며, 구조적 차원의 차이가 순서 기반의 차이보다 더 중요함을 강조한다.
• 이 연구는 상호작용의 배열이 아니라 상호작용의 순서가 확률적 복잡도의 핵심 결정 요소임을 규명한다.