[論文レビュー] Exhaustive Symbolic Regression

Deaglan J. Bartlett, Harry Desmond+1 more|arXiv (Cornell University)|Nov 21, 2022

Evolutionary Algorithms and Applications被引用数 9

ひとこと要約

この論文は、所定の演算子集合を用いて、指定された複雑さの上限までにあり得るすべての記号的式を体系的かつ決定的に評価する決定的で完全な手法である包括的記号的回帰（ESR）を導入する。精度と単純さを統合する最小記述長（MDL）原理を用いることで、主観的なモデル選択を排除し、最適な関数を保証する。この手法により、宇宙時計および超新星データに40個以上の関数がフレイドマン方程式よりも経済的に適合することが判明し、標準的宇宙論モデルの独自性に疑問を呈する。

ABSTRACT

Symbolic Regression (SR) algorithms attempt to learn analytic expressions which fit data accurately and in a highly interpretable manner. Conventional SR suffers from two fundamental issues which we address here. First, these methods search the space stochastically (typically using genetic programming) and hence do not necessarily find the best function. Second, the criteria used to select the equation optimally balancing accuracy with simplicity have been variable and subjective. To address these issues we introduce Exhaustive Symbolic Regression (ESR), which systematically and efficiently considers all possible equations -- made with a given basis set of operators and up to a specified maximum complexity -- and is therefore guaranteed to find the true optimum (if parameters are perfectly optimised) and a complete function ranking subject to these constraints. We implement the minimum description length principle as a rigorous method for combining these preferences into a single objective. To illustrate the power of ESR we apply it to a catalogue of cosmic chronometers and the Pantheon+ sample of supernovae to learn the Hubble rate as a function of redshift, finding $\sim$40 functions (out of 5.2 million trial functions) that fit the data more economically than the Friedmann equation. These low-redshift data therefore do not uniquely prefer the expansion history of the standard model of cosmology. We make our code and full equation sets publicly available.

研究の動機と目的

• 従来の記号的回帰（SR）における確率的性質が、ランダムな探索によって最適関数を見逃す可能性があることに対処すること。
• 精度と単純さを組み合わせる際の主観的かつ一貫性のないSRのモデル選択基準を解消すること。
• 指定された複雑さの上限までにあり得るすべての記号的式に対して、決定的かつ包括的な探索を実施し、真のパレートフロントを保証すること。
• 最小記述長（MDL）という情報理論的基準を適用し、パレートフロントを1つの最適モデル順位に縮約すること。
• この手法の有効性を実証するため、宇宙論的データから赤移速度の関数としてのハッブルパラメータの代替関数形を発見すること。

提案手法

• ESRは、所定の演算子集合（例：+、*、sqrt、exp）から構成されるすべての可能な記号的式を、指定された最大木の複雑さ（ノード数）まで体系的に列挙する。
• 木のトポロジー制約と代数的簡略化を用いて、重複または同等の関数を排除し、単純な列挙と比較して探索空間を約1400倍小さくする。
• 各々の固有関数に対して、すべての自由パラメータの完全な数値最適化を実施し、データへの最良の適合を得る。
• モデルの適合度（対数尤度）とモデルの複雑さ（パrametricおよび構造的複雑さ）の両方をバランスさせるために、最小記述長（MDL）原理を適用する。
• MDLスコアは、負の対数尤度と、フィッシャー情報行列およびパラメータ数に基づくペナルティ項の合計から導出され、すべての候補関数に対する1次元の順位付けを可能にする。
• この手法はオープンソースのコードとして実装され、2つの宇宙論的データセット（宇宙時計およびPantheon+超新星サンプル）に適用された。

実験結果

リサーチクエスチョン

• RQ1 指定されたデータセットおよび複雑さの上限に対して、記号的式に対する決定的かつ包括的な探索が、グローバルに最適な関数の発見を保証するか？
• RQ2 最小記述長原理は、既存のヒューリスティック基準と比較して、記号的回帰における精度と単純さの統合をより厳密かつ客観的に行う手法であるか？
• RQ3 ハッブルパラメータを赤移速度の関数として表す際、フレイドマン方程式よりも低赤移速度宇宙論的データに経済的に適合する代替関数形が存在するか？
• RQ4 現在の宇宙論的データは、標準モデルの膨張歴史をどの程度一意に支持しているか？
• RQ5 ESRを用いることで、従来のモデルを上回るデータ適合性を示しながらも、解釈可能性を保った物理的解釈可能な解析的式を発見できるか？

主な発見

• MDL基準に基づき、520万個の候補式の中から、宇宙時計およびPantheon+超新星データにフレイドマン方程式よりも経済的に適合する40の関数がESRによって同定された。
• この手法は、精度と複雑さの最適なトレードオフの真のパレートフロントを保証し、確率的探索による最良解の見逃しのリスクを排除する。
• 最小記述長原理を適用することで、ESRはすべての候補関数に対して一意で客観的な順位付けを提供し、パレートフロントからの選択の曖昧さを解消する。
• コードおよび生成された方程式の完全なセットは、https://github.com/DeaglanBartlett/ESR で公開されており、再現性と再利用が可能である。
• 結果から、低赤移速度宇宙論的データは標準モデルの膨張歴史を一意に支持していないことが示唆され、MDL基準下で複数の代替解析的形態が同様またはそれ以上に優れた性能を示すことが判明した。
• ESRフレームワークは汎用的であり、同伴論文でも銀河力学における径方向加速度関係の関数形を発見するためにすでに応用されている。