[논문 리뷰] AI Descartes: Combining Data and Theory for Derivable Scientific Discovery

Cristina Cornelio, Sanjeeb Dash외 7명|arXiv (Cornell University)|2021. 09. 03.

Data Visualization and Analytics인용 수 4

한 줄 요약

이 논문은 데이터와 공리 이론에서 과학적 법칙을 유도하기 위해 기호적 회귀와 형식적 논리적 추론을 통합한 새로운 프레임워크인 AI Descartes를 소개한다. 최적화 기반 기호적 회귀와 자동 정리 증명을 결합함으로써, 모델이 데이터에 적합할 뿐 아니라 배경 원리로부터 논리적으로 유도될 수 있도록 보장한다. 이 방법은 최소한의 데이터로 케플러의 제3법칙, 아인슈타인의 시간 지연 공식, 랑무어의 흡착 이소스터모를 재발견하는 데 성공하였다.

ABSTRACT

Scientists have long aimed to discover meaningful formulae which accurately describe experimental data. A common approach is to manually create mathematical models of natural phenomena using domain knowledge, and then fit these models to data. In contrast, machine-learning algorithms automate the construction of accurate data-driven models while consuming large amounts of data. The problem of incorporating prior knowledge in the form of constraints on the functional form of a learned model (e.g., nonnegativity) has been explored in the literature. However, finding models that are consistent with prior knowledge expressed in the form of general logical axioms (e.g., conservation of energy) is an open problem. We develop a method to enable principled derivations of models of natural phenomena from axiomatic knowledge and experimental data by combining logical reasoning with symbolic regression. We demonstrate these concepts for Kepler's third law of planetary motion, Einstein's relativistic time-dilation law, and Langmuir's theory of adsorption, automatically connecting experimental data with background theory in each case. We show that laws can be discovered from few data points when using formal logical reasoning to distinguish the correct formula from a set of plausible formulas that have similar error on the data. The combination of reasoning with machine learning provides generalizeable insights into key aspects of natural phenomena. We envision that this combination will enable derivable discovery of fundamental laws of science and believe that our work is an important step towards automating the scientific method.

연구 동기 및 목표

• 기존 방법들이 일반적인 논리적 공리(예: 보존 법칙)를 과학적 모델 발견에 통합하지 못하는 격차를 보완하기 위해.
• 발견된 모델이 정확할 뿐 아니라 배경 이론으로부터 공식적으로 유도될 수 있도록 보장하는 시스템을 개발하기 위해.
• 대규모 데이터셋에 의존하는 것을 줄이기 위해 논리적 제약 조건을 활용하여 유사한 데이터 피팅 대안들 사이에서 정확한 공식을 구별하기 위해.
• 기계 학습과 형식적 추론을 통합하여 과학적 법칙의 종단 간 해석 가능한 발견을 가능하게 하기 위해.
• 일반화와 경험적 피팅을 초월한 통찰을 제공하는 원칙적인 과학적 발견을 지원하는 프레임워크를 제공하기 위해.

제안 방법

• 실험 데이터에서 후보 공식을 생성하기 위해 수학적 최적화 기반 기호적 회귀 엔진을 사용한다.
• 각 후보 공식이 자동 정리 증명을 통해 일련의 공리로부터 유도될 수 있는지 확인하기 위해 형식적 추론 시스템을 통합한다.
• 유도될 수 없는 공식의 경우, 유도 가능성에 대한 근접도를 나타내는 새로운 측정치를 계산하여 보완한다.
• 이론적 유도 과정에서 경험적 매개변수를 다루기 위해 수치적 상수에 대한 존재적 기호화를 지원한다.
• 물리학적 법칙, 상대성 이론, 화학 평형 원리와 같은 배경 이론을 논리적 공리로 활용한다.
• 시스템은 케플러의 제3법칙, 상대론적 시간 지연, 랑무어 흡착 이소스터모의 세 가지 고전적 과학 법칙을 대상으로 평가된다.

실험 결과

연구 질문

• RQ1 기호적 회귀에 형식적 논리적 추론을 통합함으로써 발견된 모델이 과학적 공리로부터 유도 가능하도록 보장할 수 있는가?
• RQ2 데이터만으로는 구분이 어려운 경우, 논리적 제약 조건이 유의미한 모델의 수를 크게 줄일 수 있는가?
• RQ3 신경 기반 기호 시스템이 최소한의 실험 데이터로 기존에 알려진 기본 법칙을 얼마나 잘 재발견할 수 있는가?
• RQ4 산술 및 미적분 연산이 포함된 기호적 회귀에 대해 형식적 추론을 어떻게 적용할 수 있는가?
• RQ5 시스템이 모델이 논리 이론으로부터의 유도 가능성 거리(derivability distance)를 정량화하여 반복적 보완을 가능하게 할 수 있는가?

주요 결과

• AI Descartes는 페인만 데이터베이스의 81개 기호적 회귀 문제에서 60.49%의 정확도를 기록하여, AI-Feynman(40.74%), PySR(49.38%), BMS(48.15%)를 모두 앞서나갔다.
• 두 변수 이하의 더 단순한 15개 문제의 부분집합에서는 AI Descartes가 86.67%의 정확도를 기록하여 다른 방법들보다 뚜렷이 뛰어났다.
• 사용 가능한 배경 이론이 있는 다섯 개의 문제에 대해, 추론 모듈은 모든 경우에서 정확한 공식이 직접적이거나 존재적으로 유도 가능하다는 것을 성공적으로 증명했다.
• 단지 뉴턴의 역학 법칙을 공리로 사용하고 최소한의 관측 데이터만을 활용하여 태양계 데이터에서 케플러의 제3법칙을 정확히 식별했다.
• 상대성 이론의 가정과 함께 실험적 원자 시계 데이터를 바탕으로 상대론적 시간 지연의 정확한 공식을 유도했다.
• 열역학적 평형 공리를 기반으로 한 실험적 표면 흡착도 데이터로부터 AI Descartes는 정확한 이소스터모를 복원했다.