[논문 리뷰] The algebra and machine representation of statistical models

Evan Patterson|arXiv (Cornell University)|2020. 06. 16.

Statistics Education and Methodologies참고 문헌 179인용 수 4

한 줄 요약

이 박사학위 논문은 통계 모델을 논리 이론과 유사한 수학적 구조로 형식화하기 위해 범주론적 대수적 프레임워크를 도입한다. 이는 범주론을 통해 기계가 표현할 수 있는 구조로 만들며, 통계 추론을 계산 워크플로와 통합함으로써 파이썬과 R에서 의미를 유지하는 언어에 구애받지 않는 데이터 과학 워크플로를 가능하게 하여 재현 가능하고 조합 가능한 데이터 과학을 발전시킨다.

ABSTRACT

As the twin movements of open science and open source bring an ever greater share of the scientific process into the digital realm, new opportunities arise for the meta-scientific study of science itself, including of data science and statistics. Future science will likely see machines play an active role in processing, organizing, and perhaps even creating scientific knowledge. To make this possible, large engineering efforts must be undertaken to transform scientific artifacts into useful computational resources, and conceptual advances must be made in the organization of scientific theories, models, experiments, and data. This dissertation takes steps toward digitizing and systematizing two major artifacts of data science, statistical models and data analyses. Using tools from algebra, particularly categorical logic, a precise analogy is drawn between models in statistics and logic, enabling statistical models to be seen as models of theories, in the logical sense. Statistical theories, being algebraic structures, are amenable to machine representation and are equipped with morphisms that formalize the relations between different statistical methods. Turning from mathematics to engineering, a software system for creating machine representations of data analyses, in the form of Python or R programs, is designed and implemented. The representations aim to capture the semantics of data analyses, independent of the programming language and libraries in which they are implemented.

연구 동기 및 목표

• . 통계 모델에 대해 범주론적 논리학을 활용한 엄밀한 대수적 기반을 확립한다.
• . 방법론적 관계를 나타내는 사상이 포함된 대수적 구조로 통계 이론을 형식화한다.
• . 파이썬과 R에서 데이터 분석을 기계가 읽을 수 있고 의미를 유지하는 표현으로 변환하는 소프트웨어 시스템을 설계하고 구현한다.
• . 통계 방법론과 과학 이론 사이의 격차를 메우기 위해 과학 지식의 계층을 모델링한다.
• . 형식적이고 계산 가능한 표현을 통해 기계 보조 추론, 검증, 데이터 과학 워크플로의 조합을 가능하게 한다.

제안 방법

• . 통계 이론과 그 사상들을 모델링하기 위해 색상이 부여된 PROPs와 단순한 모나이드 범주를 포함한 범주론을 사용한다.
• . 매개변수화된 분포의 가족이 핵심 구조가 되는, 이론 위에서의 대수로 통계 모델을 정의한다.
• . 프로그래밍 언어나 라이브러리에 종속되지 않는 의미를 저장하는 데이터 과학 워크플로를 위한 형식적 온톨로지를 도입한다.
• . 파이썬과 R 코드로부터 의미를 추출하기 위해 프로그램 분석 기법을 활용하고, 이를 구조화되고 기계가 처리할 수 있는 표현으로 변환한다.
• . 구성과 곱 연산이 엄격하지 않은 고차원 구조를 갖는 통계 이론을 위한 고차원 범주론적 구조를 구성한다. 이는 향후 고차원 형식주의의 연구를 시사한다.
• . 범주론에 기반한 단일 형식 시스템 내에서 실험 설계, 모델 구축, 추론을 통합적으로 적용한다.

실험 결과

연구 질문

• RQ1 . 통계 모델을 형식적 범주론적 프레임워크 내에서 체계적으로 대수적 구조로 표현할 수 있는 방법은 무엇인가?
• RQ2 . 서로 다른 통계 방법 간의 관계를 형식화하기 위해 통계 모델 간의 사상이 수행하는 역할은 무엇인가?
• RQ3 . 파이썬과 R에서의 데이터 분석 워크플로는 어떻게 기계가 읽을 수 있고 의미를 유지하는 표현으로 변환될 수 있으며, 이를 구현 세부 사항에서 독립적으로 만들 수 있는가?
• RQ4 . 통계 이론은 어떻게 과학적 모델의 계층에 통합되어 일반화 가능성과 이론 전파를 지원할 수 있는가?
• RQ5 . 통계 모델과 데이터 분석의 형식적이고 계산 가능한 표현은 데이터 과학에서 재현 가능성, 검증성, 자동화를 어떻게 향상시킬 수 있는가?

주요 결과

• . 이 논문은 색상이 부여된 PROPs 위에서 통계 모델을 대수로 형식화하여 통계 추론을 위한 정밀한 범주론적 프레임워크를 성공적으로 제공한다.
• . 통계 모델 간의 사상이 모델 단순화나 매개변수화 변경과 같은 방법론적 변환을 나타낼 수 있음을 입증한다.
• . 파이썬과 R 데이터 분석 코드를 의미를 유지하는 형식적 표현으로 변환하는 작동 가능한 소프트웨어 시스템이 구현되었다.
• . 이 프레임워크는 실험 설계와 실험 모델을 통합된 형식적 지식 구조의 일부로 표현할 수 있다.
• . 현재의 통계 패러다임(귀무가설 검정 중심)과 실제 과학 지식의 구조 사이에 근본적인 불일치가 드러나며, 더 포괄적이고 계층적인 모델링 접근법을 주장한다.
• . 제안된 시스템은 형식적이고 조합 가능하며 검증 가능한 데이터 과학 워크플로를 가능하게 하여 장기적으로 기계 보조 과학적 추론을 실현한다.