[論文レビュー] Globally Optimal Symbolic Regression

Vernon Austel, Sanjeeb Dash+5 more|arXiv (Cornell University)|Oct 29, 2017

Evolutionary Algorithms and Applications参考文献 16被引用数 14

ひとこと要約

本稿では、指定された誤差範囲内でデータを最もよく説明する単純な数学的式を発見するため、混合整数非線形計画法（MINLP）を用いたグローバル最適な記号的回帰手法を提示する。この手法はグローバル最適性を保証し、正確な実数値定数を直接計算可能であり、実世界のデータからケプラーの第三法則およびガリレオの単振子方程式を再発見した。

ABSTRACT

In this study we introduce a new technique for symbolic regression that guarantees global optimality. This is achieved by formulating a mixed integer non-linear program (MINLP) whose solution is a symbolic mathematical expression of minimum complexity that explains the observations. We demonstrate our approach by rediscovering Kepler's law on planetary motion using exoplanet data and Galileo's pendulum periodicity equation using experimental data.

研究の動機と目的

• 観測データを最も単純な数学的式で説明できる記号的回帰手法を、グローバル最適性を保証する形で開発すること。
• 遺伝的プログラミングなどのヒューリスティック手法に欠ける最適性の保証と、定数の精緻化にための後処理を回避すること。
• 記号的回帰を、式の複雑さと予測誤差を直接最適化できる混合整数非線形計画問題（MINLP）として定式化すること。
• 最適化フレームワークを用いてドメイン制約やユーザーの好みをスムーズに統合できること。
• 実世界の物理的データセット（例：系外惑星の公軌道データ、単振子の運動実験）において、本手法の有効性を示すこと。

提案手法

• 離散変数が式木の構造を定義し、連続変数が予測値を計算する混合整数非線形計画問題（MINLP）として記号的回帰を定式化する。
• 有効でサイズが制限された式木のみを探索空間に含めるために、文法に基づく制約集合を用いる。
• 単純さを優先するために、式の複雑さ（ノード数や演算子数など）を目的関数として最小化する。
• 予測値と観測値の間の距離測度を用いて、最大相対誤差を制約として課し、モデルの忠実度を制御する。
• 分枝限定法に凸緩和を用いる最新のグローバルMINLPソルバ（例：BARON、SCIP）を活用し、グローバル最適性を保証する。
• 他の手法で必要な別段階のキャリブレーションを回避するため、最適化内ですべての実数値定数を直接計算する。

実験結果

リサーチクエスチョン

• RQ1 ヒューリスティック探索の代わりに、数学的プログラミングを用いて記号的回帰をグローバル最適に解くことは可能か？
• RQ2 MINLP定式化により、単純さ、正確さ、正しい定数推定の3つを同時に満たすことは可能か？
• RQ3 実物理データセットにおいて、本手法はヒューリスティック手法と比較して、解の質と計算効率の点で優れているか？
• RQ4 ノイズや不完全なデータから、ケプラーの第三法則や単振子周期の式といった既知の物理法則をどれほど再発見できるか？
• RQ5 誤差許容範囲を変化させた場合、過剰適合とモデルの単純さのトレードオフはどのように扱われるか？

主な発見

• 本手法は、最大相対誤差2％の範囲で、系外惑星データからケプラーの第三法則 $ d = \sqrt[3]{c\tau^2M} $ を再発見し、グローバル最適であることを認証した。
• 単振子データでは、正しい物理的形 $ t_j = \pi j \sqrt{\ell/g} $ が得られ、定数は $ \pi/\sqrt{g} \approx 1.002 $ に実験誤差の範囲で近い値となった。
• 平均して50分（標準偏差75分）でインスタンスが解かれたが、6時間の制限時間内に95％の解がグローバル最適であると認証された。
• 分枝限定法が探索したノード数は大きく変動（147〜60万以上）し、幾何平均は19,917であった。これは $ \approx 2 \times 10^7 $ 個の可能な式木と比べて顕著に低い。
• より高い誤差許容範囲（例：30％）では、$ \sqrt{\tau} $ や $ cj $ のようなより単純な式が返され、単純さと正確さのトレードオフが明確に現れた。
• リンク長が類似している場合でも、本手法は単振子データに対して正しい $ j\sqrt{\ell} $ の形を同定できた。これは、データの重複や実験的ノイズに対しても高い耐性を示している。