[論文レビュー] Rethinking Symbolic Regression Datasets and Benchmarks for Scientific Discovery

Yoshitomo Matsubara, Naoya Chiba+2 more|arXiv (Cornell University)|Jun 21, 2022

Evolutionary Algorithms and Applications被引用数 7

ひとこと要約

本論文は、物理学のフェインマン講義に基づいて作成された物理的に意味のある変数範囲を有する120の現実的でリアルなデータセットを含む、科学的発見のための記号的回帰（SRSD）のための新しいベンチマークスイートを紹介する。また、方程式の類似性を評価するための優れた指標として、正規化編集距離（NED）を提案する。実験の結果、既存のSR手法は、従来のデータセットと比較して、新しいベンチマークでは著しく性能を発揮しないことが明らかになった。これは、より強固なSRSD手法の開発が不可欠であることを示している。

ABSTRACT

This paper revisits datasets and evaluation criteria for Symbolic Regression (SR), specifically focused on its potential for scientific discovery. Focused on a set of formulas used in the existing datasets based on Feynman Lectures on Physics, we recreate 120 datasets to discuss the performance of symbolic regression for scientific discovery (SRSD). For each of the 120 SRSD datasets, we carefully review the properties of the formula and its variables to design reasonably realistic sampling ranges of values so that our new SRSD datasets can be used for evaluating the potential of SRSD such as whether or not an SR method can (re)discover physical laws from such datasets. We also create another 120 datasets that contain dummy variables to examine whether SR methods can choose necessary variables only. Besides, we propose to use normalized edit distances (NED) between a predicted equation and the true equation trees for addressing a critical issue that existing SR metrics are either binary or errors between the target values and an SR model's predicted values for a given input. We conduct benchmark experiments on our new SRSD datasets using various representative SR methods. The experimental results show that we provide a more realistic performance evaluation, and our user study shows that the NED correlates with human judges significantly more than an existing SR metric. We publish repositories of our code and 240 SRSD datasets.

研究の動機と目的

• 科学的発見のための記号的回帰に、現実的で物理的根拠を持つデータセットが不足している問題に対処すること。
• 構造的に異なるが数値的に近い方程式を同等に扱う既存の評価指標の限界を克服すること。
• 変数範囲の現実性やノイズ耐性といった、現実世界の科学的発見の課題をよりよく反映するベンチマークを構築すること。
• 最先端のSR手法が、より困難で現実的なデータセットと指標を用いてどのように性能を発揮するかを評価すること。
• 今後のSRSD研究のための再現可能なベンチマーク（コードとデータセットを含む）を提供すること。

提案手法

• フェインマン講義の物理式から120の記号的回帰データセットを再作成し、式の性質に基づいて物理的に妥当な変数範囲を慎重に定義した。
• SR手法の変数選択能力をテストするために、ダミー変数を含む別セットの120のデータセットを設計した。
• 予測された方程式と真の式の間の構造的類似性を評価する定量的指標として、方程式木間の正規化編集距離（NED）を提案した。
• シンボリック式の一貫した解析と比較を保証するため、sympyを用いて木ベースの編集距離を計算した。
• ガウスノイズを複数のレベル（γ ∈ {0, 10⁻³, 10⁻², 10⁻¹}）でターゲット変数に注入し、現実のノイズ条件下での耐性を評価した。
• 6つのSRベースラインを用いて、新しいデータセットとNED指標を用いたベンチマーク実験を実施し、性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 既存の記号的回帰手法は、人工的に制限されたものとは異なり、現実的な変数範囲を有するデータセットから物理法則を的確に回復できるか？
• RQ2 提案された正規化編集距離（NED）は、従来の指標と比較して、人間の式類似性判断とどの程度相関しているか？
• RQ3 ノイズと現実的な物理的変数範囲に直面した場合、SR手法が正しい方程式を発見できない程度はどの程度か？
• RQ4 データセットにダミー変数を含めることで、手法の変数選択能力を効果的にテストできるか？
• RQ5 新しいSRSDベンチマークと従来のFSRDベンチマークとの間で、解法率とNEDスコアはどのように比較されるか？

主な発見

• 新しいSRSDベンチマークデータセットでは、従来のFSRDベンチマークと比較して解法率が著しく低下しており、最高性能の手法でも解法率が52.65%から9.17%に低下した。
• 正規化編集距離（NED）は、従来のベンチマークで用いられる標準的な解法率指標よりも、人間の式類似性判断と有意に相関している。
• ノイズ注入により、すべての手法のNEDスコアが上昇した。これは、新しいベンチマークが測定誤差などの現実世界の課題を的確に捉えていることを確認している。
• 新しいベンチマークでは、手法間の性能差が顕著に顕在しており、現段階のSR手法が現実の科学的発見タスクに対して苦戦していることを示している。
• 二値の解法率や予測誤差のみに依存する評価よりも、NED指標は記号的回帰の性能をより洗練され、情報豊かに評価できる。