[論文レビュー] Contemporary Symbolic Regression Methods and their Relative Performance

William La Cava, Patryk Orzechowski+6 more|PubMed|Jul 29, 2021

Evolutionary Algorithms and Applications参考文献 77被引用数 144

ひとこと要約

論文はSRBenchを提示し、14のシンボリック回帰（SR）手法と7つのML手法を252の回帰問題で比較する。実世界データ上ではGPベースのSR手法が他を上回ることが多く、低ノイズ条件下で正確なground-truth方程式を回復する手法が特定の状況で優れている。

ABSTRACT

Many promising approaches to symbolic regression have been presented in recent years, yet progress in the field continues to suffer from a lack of uniform, robust, and transparent benchmarking standards. We address this shortcoming by introducing an open-source, reproducible benchmarking platform for symbolic regression. We assess 14 symbolic regression methods and 7 machine learning methods on a set of 252 diverse regression problems. Our assessment includes both real-world datasets with no known model form as well as ground-truth benchmark problems. For the real-world datasets, we benchmark the ability of each method to learn models with low error and low complexity relative to state-of-the-art machine learning methods. For the synthetic problems, we assess each method's ability to find exact solutions in the presence of varying levels of noise. Under these controlled experiments, we conclude that the best performing methods for real-world regression combine genetic algorithms with parameter estimation and/or semantic search drivers. When tasked with recovering exact equations in the presence of noise, we find that several approaches perform similarly. We provide a detailed guide to reproducing this experiment and contributing new methods, and encourage other researchers to collaborate with us on a common and living symbolic regression benchmark.

研究の動機と目的

• Symbolic regressionの公正な比較と再現性を可能にする標準化され透明なベンチマークを促進する。
• 現代のSR手法と従来のMLベースラインを多様な実世界と合成問題で評価する。
• 精度-複雑さのトレードオフと低ノイズ条件下で既知の ground-truth 方程式を回復する能力を特徴づける。
• 再現可能なワークフローとリポジトリを提供して、活発なSRベンチマークへのコミュニティ貢献を促す。

提案手法

• SRBenchをSRのためのオープンソースで再現可能なベンチマークプラットフォームとして開発する。
• Penn ML Benchmark (PMLB) を130のSRデータセットで拡張し、手法のPython APIを標準化する。
• 固定環境、CI、再現可能な実験設定で14のSR手法と7のML手法をベンチマークする。
• ブラックボックス回帰問題（真の地上truthが未知）とground-truth問題（合成物理/ODE）を評価する。
• 精度(R2)、モデルの複雑さ、符号解の回復、さらにsympyによる簡略化の指標を使用する。
• 実験を再現し新しい手法を追加するための詳細でコミュニティ主導のプロトコルを提供する。

実験結果

リサーチクエスチョン

• RQ1 現実世界のブラックボックス回帰問題で、どのSR手法が精度と単純さの間で最も良いバランスを取るか？
• RQ2 SR手法はノイズデータからground-truth方程式を回復できるか、そして深層学習アプローチと比較してどうか？
• RQ3 GPベースのSR手法は多様なベンチマークで非GPアプローチ（例：勾配ブースティング、ニューラルモデル）と比べてどうか？
• RQ4 ノイズはground-truth問題の正確な解を見つける能力にどのように影響するか？

主な発見

• Operonはブラックボックス問題のテストセットR2精度で最高を達成し、他の手法を大きく上回る。
• SBP-GPとFEATは精度で上位に位置し、FEATははるかに小さなモデルを生成する。
• 多くのトップパフォーマンスSR手法はGPベースであり、LightGBMやXGBoostのようなアンサンブル木法の単純さおよび/または精度よりも勝る。
• 非GP SR手法の間では、FFXとDSRは同様に良く、BSRとAIFeynmanよりも優れている；DSRは最も小さな解をいくつか生み出す。
• 低ノイズのground-truth問題では、AIFeynmanが最も頻繁に正確な解を回復する（53%）、しかしノイズが高い場合はDSR、gplearn、AFP_FE、AFPがより良い。
• 精度と単純さを総合的に考慮すると、Operon、GP-GOMEA、DSRはブラックボックス問題全体でパレートフロントを形成する。