[논문 리뷰] Kolmogorov complexity as a hidden factor of scientific discourse: from Newton's law to data mining

Yuri I. Manin|arXiv (Cornell University)|2013. 01. 01.

Complex Systems and Time Series Analysis참고 문헌 3인용 수 6

한 줄 요약

이 논문은 과학적 논의가 본질적으로 두 부분으로 나뉘어진다고 주장한다: 매우 압축된, 콜모고로프 복잡도가 낮은 '법칙' 성분(예: 뉴턴의 법칙, 유전적 코드)과 높은 복잡도를 지닌 '자료' 성분(예: 초기 조건, 표현형, 관측 데이터베이스). 이 논문은 콜모고로프 복잡도를 과학적 이론이 방대한 정보를 단순한 법칙으로 압축하는 방식을 설명하는 은유로 사용한다. 이는 현대의 데이터 폭발이 원인적 이해를 가짜 상관관계로 대체할 위험을 암시하며, 단순한 데이터 분석을 넘어서 이론적 통찰의 지속적인 필요성을 강조한다.

ABSTRACT

The word "complexity" is most often used as a meta--linguistic expression referring to certain intuitive characteristics of a natural system and/or its scientific description. These characteristics may include: sheer amount of data that must be taken into account; visible "chaotic" character of these data and/or space distribution/time evolution of a system etc. This talk is centered around the precise mathematical notion of "Kolmogorov complexity", originated in the early theoretical computer science and measuring the degree to which an available information can be compressed. In the first part, I will argue that a characteristic feature of basic scientific theories, from Ptolemy's epicycles to the Standard Model of elementary particles, is their splitting into two very distinct parts: the part of relatively small Kolmogorov complexity ("laws", "basic equations", "periodic table", "natural selection, genotypes, mutations") and another part, of indefinitely large Kolmogorov complexity ("initial and boundary conditions", "phenotypes", "populations"). The data constituting this latter part are obtained by planned observations, focussed experiments, and afterwards collected in growing databases (formerly known as "books", "tables", "encyclopaedias" etc). In this discussion Kolomogorov complexity plays a role of the central metaphor. The second part and Appendix 1 are dedicated to more precise definitions and examples of complexity.

연구 동기 및 목표

• 과학적 이론을 두 부분으로 나누는 구조로 프레임을 설정: 낮은 복잡도의 법칙과 높은 복잡도의 자료.
• 콜모고로프 복잡도가 과학적 압축과 설명을 통합하는 은유로 기능함을 주장.
• '이론의 종말' 논의를 비판함으로써 데이터만으로 원인적 법칙을 대체할 수 없다는 점을 보여줌.
• 대용량 데이터 환경에서도 이론적 압축이 가짜 상관관계를 피하기 위해 필수적이라는 점을 입증.
• 과학적 진전은 단순한 데이터 처리를 넘어서 사전에 이론적 통찰을 통해 의미 있는 구조를 준비시켜야 한다는 점을 강조.

제안 방법

• 과학적 서술에서 정보 압축의 형식적 척도로 콜모고로프 복잡도를 사용.
• 역사적 과학 모델(Ptolemaic, Copernican, Newtonian, Einsteinian)을 분석하여 법칙과 자료 사이의 균열을 보여줌.
• 복잡한 현상을 단순한 법칙으로 압축하는 방식을 설명하기 위해 원추선과 푸리에 급수의 은유를 적용.
• 결정론적 법칙(낮은 콜모고로프 복잡도)과 초기/경계 조건(무한히 높은 복잡도)을 대비.
• 대용량 데이터 폭발과 데이터 마이닝(Google의 접근 방식 등)을 콜모고로프 복잡도의 관점에서 분석.
• 온타리오 주의 건강 데이터에서 별자리와의 상관관계를 사례로 들어 대용량 데이터셋에서의 가짜 상관관계를 설명.

실험 결과

연구 질문

• RQ1 콜모고로프 복잡도는 과학 이론의 구조적 이원성—법칙 대 자료—을 어떻게 설명하는가?
• RQ2 대용량 데이터와 데이터 마이닝의 시대에 왜 과학적 법칙이 여전히 필수적인가?
• RQ3 뉴턴에서 표준모형에 이르기까지 기본 이론의 개발에서 정보 압축은 어떤 역할을 하는가?
• RQ4 상관관계만으로 과학에서 원인적 법칙을 대체할 수 있는가, 아니면 여전히 이론적 압축이 필요한가?
• RQ5 콜모고로프 복잡도의 은유는 의미 있는 과학적 패턴과 가짜 데이터 마이닝 결과를 어떻게 구별하는가?

주요 결과

• 과학적 이론은 항상 낮은 콜모고로프 복잡도 성분(법칙, 방정식)과 높은 복잡도 성분(초기 조건, 표현형, 관측 자료)으로 나뉘어진다.
• 뉴턴의 만유인력 법칙과 아인슈타인의 E=mc²는 방대한 예측 능력을 압축적으로 담고 있는 사례이다.
• 세 몸체 문제와 혼돈 이론은 단순한 법칙이 초깃값에 민감할 경우 고복잡도 궤도로 이어질 수 있음을 보여준다.
• '이론의 종말' 주장—상관관계가 원인성보다 우선시된다—는 잘못된 것으로 드러났다. 대용량 데이터셋에서의 가짜 상관관계(예: 별자리와 입원률 간의 상관관계)가 이를 입증한다.
• 페타바이트 수준의 데이터가 증가하고 있음에도 불구하고, 유니버설 튜링 머신의 낮은 콜모고로프 복잡도가 기본 계산 원리가 여전히 깊이 이론적이며 압축되어 있음을 보여준다.
• 이론적 통찰은 여전히 필수적이다. 이론적 통찰이 없이 데이터 마이닝은 의미 없는 상관관계를 낳을 뿐이며, Austin 등(2023)의 연구에서 별자리와 건강 결과 간의 상관관계가 이를 입증한다.