[論文レビュー] Symbolic Regression for Space Applications: Differentiable Cartesian Genetic Programming Powered by Multi-objective Memetic Algorithms

Marcus Märtens, Dario Izzo|arXiv (Cornell University)|Jun 13, 2022

Evolutionary Algorithms and Applications被引用数 4

ひとこと要約

本論文では、微分可能カルトゥーシアン遺伝的プログラミング（dCGP）を用いた多目的メタヒューリスティックアルゴリズムを提案し、進化の過程で数値定数を同時に学習する解釈可能な記号的回帰モデルを生成する。この手法は、火星エクスプローラーの熱力推定と星の年齢予測という2つの宇宙応用分野において、最先端の機械学習モデルと同等またはそれ以上の性能を発揮し、希少なデータでも良好な一般化性能を示す数学的に解釈可能な式を生成する。

ABSTRACT

Interpretable regression models are important for many application domains, as they allow experts to understand relations between variables from sparse data. Symbolic regression addresses this issue by searching the space of all possible free form equations that can be constructed from elementary algebraic functions. While explicit mathematical functions can be rediscovered this way, the determination of unknown numerical constants during search has been an often neglected issue. We propose a new multi-objective memetic algorithm that exploits a differentiable Cartesian Genetic Programming encoding to learn constants during evolutionary loops. We show that this approach is competitive or outperforms machine learned black box regression models or hand-engineered fits for two applications from space: the Mars express thermal power estimation and the determination of the age of stars by gyrochronology.

研究の動機と目的

• 重要な宇宙応用分野におけるブラックボックス型機械学習モデルの解釈不能性を是正すること。
• 記号的回帰における進化過程での数値定数の学習という制限を克服すること。
• 希少なデータから、正確で単純かつ解釈可能な数学的式を自動で発見する手法を開発すること。
• 物理的に意味のある代数的構造を活用することで、宇宙科学分野におけるドメインギャップを越えた一般化を可能にすること。
• 多目的最適化によってモデルの精度と複雑さのバランスを取れる意思決定支援ツールを提供すること。

提案手法

• 本手法は、微分可能なカルトゥーシアン遺伝的プログラミング（dCGP）を採用し、微分可能なノードを有する有向無閉路グラフとして数学的式を符号化する。
• 式内の数値定数は、進化ループ中に勾配ベース最適化によって学習され、係数の精密な調整が可能になる。
• 多目的メタヒューリスティックアルゴリズム（MOMES）は、進化的探索と局所探索ヒューリスティクスを組み合わせ、モデルの精度と式の複雑さの両方を最適化する。
• アルゴリズムは非支配的フロントを維持することで、解釈可能性と性能のトレードオフを可視化・選択可能にする。
• 進化的演算子（突然変異や交差）がdCGPゲノタイプに適用され、各世代において勾配降下法が定数の最適化に用いられる。
• 最終的な式はテストセットで評価され、ニューラルネットワーク、ガウス過程、ランダムフォレストといった標準的な機械学習モデルと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 微分可能なCGPは、記号的回帰の過程で数値定数を効果的に学習できるか、モデルの精度が向上するか？
• RQ2 提案された多目的メタヒューリスティックアルゴリズムは、記号的式の精度と解釈可能性のバランスをどのようにとるか？
• RQ3 dCGPベースのモデルは、星の年齢推定のような宇宙科学分野のドメインギャップを越えて一般化できるか？
• RQ4 進化した記号的式は、ブラックボックスモデルが見逃すデータ構造の洞察や過学習の兆候を明らかにできるか？
• RQ5 dCGPモデルは、実世界の宇宙データセットにおいて、最先端の機械学習モデルと比較してどの程度の性能を示すか？

主な発見

• 火星エクスプローラーの熱力推定ベンチマークでは、dCGPが平均絶対誤差（MAE）0.41を達成し、線形回帰を上回り、最良の性能を示したモデルと同等の結果を出した。
• 星の年齢推定ベンチマークB1では、dCGPがMAE 1.41を達成し、大多数の機械学習モデルを上回り、ドメインギャップを越えた強力な一般化性能を示した。
• ベンチマークB2では、単純な式 $x_6 - \sin(x_1 - x_4) + 6.987$ がMAE 1.39を達成し、ニューラルネットワークやガウス過程を含むすべての他のモデルを上回った。
• パレートフロント分析から、dCGP式はブラックボックスモデルと比べて一貫して解釈可能で、過学習のリスクが低く、特にデータが少ない状況で顕著であった。
• B2ではトレーニング誤差とテスト誤差の相関が低く、単純な式の成功が過学習ではなく真の一般化を反映している可能性を示唆した。
• ベンチマークCでは、最良のdCGP式がMAE 15.63を達成し、ガウス過程に次ぐ2位の成績を示し、挑戦的なデータセットでも優れた性能を発揮した。