[論文レビュー] AI Descartes: Combining Data and Theory for Derivable Scientific Discovery

Cristina Cornelio, Sanjeeb Dash+7 more|arXiv (Cornell University)|Sep 3, 2021

Data Visualization and Analytics被引用数 4

ひとこと要約

本稿では、データと公理的理論から科学法則を導出するため、記号的回帰と形式的論理的推論を統合した新規フレームワーク「AI Descartes」を紹介する。最適化に基づく記号的回帰と自動定理証明を組み合わせることで、単にデータに適合するだけでなく、背景原理から論理的に導出可能なモデルを同定する。本手法は、ケプラーの第三法則、アインシュタインの時間歪み式、ラングミュアの吸着等温線を最小限のデータから再発見する成功を収めた。

ABSTRACT

Scientists have long aimed to discover meaningful formulae which accurately describe experimental data. A common approach is to manually create mathematical models of natural phenomena using domain knowledge, and then fit these models to data. In contrast, machine-learning algorithms automate the construction of accurate data-driven models while consuming large amounts of data. The problem of incorporating prior knowledge in the form of constraints on the functional form of a learned model (e.g., nonnegativity) has been explored in the literature. However, finding models that are consistent with prior knowledge expressed in the form of general logical axioms (e.g., conservation of energy) is an open problem. We develop a method to enable principled derivations of models of natural phenomena from axiomatic knowledge and experimental data by combining logical reasoning with symbolic regression. We demonstrate these concepts for Kepler's third law of planetary motion, Einstein's relativistic time-dilation law, and Langmuir's theory of adsorption, automatically connecting experimental data with background theory in each case. We show that laws can be discovered from few data points when using formal logical reasoning to distinguish the correct formula from a set of plausible formulas that have similar error on the data. The combination of reasoning with machine learning provides generalizeable insights into key aspects of natural phenomena. We envision that this combination will enable derivable discovery of fundamental laws of science and believe that our work is an important step towards automating the scientific method.

研究の動機と目的

• 既存の手法では一般の論理的公理（例：保存則）を科学的モデル発見に組み込むことができないというギャップに対処すること。
• 発見されたモデルが正確であるだけでなく、背景理論から形式的に導出可能であることを保証するシステムの開発。
• 大規模なデータセットへの依存を減らすため、論理的制約を用いて類似したデータ適合モデルと区別する。
• 機械学習と形式的推論を統合することで、エンドツーエンドの解釈可能な科学法則の発見を実現すること。
• 一般化と経験的フィッティングを超えた洞察を可能にする、原理的で自動化された科学的発見のフレームワークを提供すること。

提案手法

• 本手法は、実験データから候補式を生成する数学的最適化に基づく記号的回帰エンジンを用いる。
• 各候補式が自動定理証明を用いて、与えられた公理集合から導出可能かどうかを検証する形式的推論システムを統合する。
• 導出不可能な式については、導出可能性への近接度を示す新たな指標を計算し、モデルの改善を可能にする。
• 理論的導出における経験的パラメータを扱うために、数値定数に関する存在記号の量化をフレームワークがサポートする。
• ニュートンの法則、相対論的力学、化学平衡の原則といった背景理論を論理的公理として活用する。
• 本手法は、3つの代表的な科学法則（ケプラーの第三法則、相対論的時間歪み、ラングミュアの吸着等温線）を対象に評価された。

実験結果

リサーチクエスチョン

• RQ1 形式的論理的推論を記号的回帰に統合することで、発見されたモデルが科学的公理から導出可能であることを保証できるか？
• RQ2 データだけでは区別できない場合に、論理的制約が妥当なモデルの数を顕著に削減できるか？
• RQ3 神経記号的ハイブリッドシステムが、最小限の実験データから既知の根本的法則をどの程度再発見できるか？
• RQ4 算術および微積分演算子を含む状況において、形式的推論を記号的回帰にどのように適用できるか？
• RQ5 モデルが論理的理論からどれだけ「導出可能性距離」にあるかを定量化でき、反復的改善が可能になるか？

主な発見

• AI Descartesは、Feynmanデータベースの81個の記号的回帰問題において60.49％の精度を達成し、AI-Feynman（40.74％）、PySR（49.38％）、BMS（48.15％）を上回った。
• 2変数以下の15個の単純な問題のサブセットでは、AI Descartesは86.67％の精度を達成し、他の手法を顕著に上回った。
• 利用可能な背景理論が存在する5つの問題について、推論モジュールは、正しい式が公理から直接的または存在的導出可能であることを全件で正当化した。
• ニュートン力学を公理として、太陽系の観測データのみを用いて、ケプラーの第三法則を正しく同定した。
• 相対論的時間歪みの事例では、実験的原子時計データと特殊相対性理論の仮説を用いて、正しい式を導出した。
• ラングミュアの吸着に関しては、熱力学的平衡の公理に基づいた実験的表面被覆率データから、正しい等温線をフレームワークが回復した。