[論文レビュー] GSR: A Generalized Symbolic Regression Approach

Tony Tohme, Dehong Liu+1 more|arXiv (Cornell University)|May 31, 2022

Evolutionary Algorithms and Applications被引用数 5

ひとこと要約

本稿では、目的変数の変換を学習し、遺伝的プログラミングフレームワーク内での基本関数の行列表現を用いることで、記号的回帰を強化する新しい手法である一般化記号的回帰（GSR）を提案する。GSRは標準ベンチマークで競争力のある性能を達成し、より挑戦的なSRベンチマークセットであるSymSetを導入した。

ABSTRACT

Identifying the mathematical relationships that best describe a dataset remains a very challenging problem in machine learning, and is known as Symbolic Regression (SR). In contrast to neural networks which are often treated as black boxes, SR attempts to gain insight into the underlying relationships between the independent variables and the target variable of a given dataset by assembling analytical functions. In this paper, we present GSR, a Generalized Symbolic Regression approach, by modifying the conventional SR optimization problem formulation, while keeping the main SR objective intact. In GSR, we infer mathematical relationships between the independent variables and some transformation of the target variable. We constrain our search space to a weighted sum of basis functions, and propose a genetic programming approach with a matrix-based encoding scheme. We show that our GSR method is competitive with strong SR benchmark methods, achieving promising experimental performance on the well-known SR benchmark problem sets. Finally, we highlight the strengths of GSR by introducing SymSet, a new SR benchmark set which is more challenging relative to the existing benchmarks.

研究の動機と目的

• データセットにおける解釈可能な数学的関係を特定するという記号的回帰の課題に対処すること。
• 従来の記号的回帰を改善するため、目的変数の変換を学習することで、モデルの柔軟性と精度を向上させること。
• スケーラブルで解釈可能な手法を開発し、ベンチマークデータセットで既存手法を上回ること。
• 記号的回帰手法の性能をよりよく評価できるよう、より困難な新しい記号的回帰ベンチマークセットであるSymSetを導入すること。

提案手法

• GSRは、従来の記号的回帰問題を変更し、目的変数の変換を学習することで、より柔軟で正確なモデリングを可能にする。
• 探索空間を基本関数の重み付き和に制限することで、複雑さを低減しつつ表現力を維持する。
• 基本関数を行列形式で符号化する手法を採用し、各行が変換、引数タイプ、有効な変数を符号化する。
• 行列要素を数学的演算および変数にマッピングするルックアップテーブルを用いることで、複雑な式の体系的構築が可能になる。
• 候補解の進化に遺伝的プログラミングを用い、訓練データにおける回帰性能に基づいて適応度を評価する。
• パラメータ $ n_{\bm{B}^\phi} $ および $ m_{\bm{B}^\phi} $ を通じて、基本関数の複雑さを動的に調整可能であり、変換の数と被演算子の数を制御できる。

実験結果

リサーチクエスチョン

• RQ1 目的変数の変換を学習することで、標準的手法と比較して記号的回帰の性能が向上するか？
• RQ2 スケーラビリティおよび探索効率の観点から、行列ベースの符号化方式は、木構造や文字列ベースの符号化と比べてどのように異なるか？
• RQ3 一般化記号的回帰フレームワークは、多様なベンチマーク問題において、解釈可能性を保ちつつ競争力ある精度を達成できるか？
• RQ4 提案されたSymSetベンチマークセットは、既存のSRベンチマークよりも顕著に困難な挑戦を提供するか？
• RQ5 標準ベンチマークおよび新たに導入されたベンチマークにおいて、GSRは最先端の記号的回帰手法と比較してどのように性能を発揮するか？

主な発見

• GSRは、有名な記号的回帰ベンチマーク問題セットにおいて、優れた一般化性能と正確性を示し、競争力のある性能を達成した。
• SymSetの導入により、既存のものよりもより困難なベンチマークセットが提供され、記号的回帰手法の評価をより適切に行えるようになった。
• 行列ベースの符号化方式により、複雑な数学的式の効率的かつ体系的な表現が可能となり、探索効率が向上した。
• GSRが目的変数の変換を学習できることで、特に非線形スケーリングを要する場合に、より良い適合モデルが得られるようになった。
• GSRは、複雑な非線形関係や高次元入力を含む多様な問題タイプにおいても、頑健な性能を示した。
• 実験的結果により、GSRが標準ベンチマークで強力なベースライン手法を上回るか同等の性能を発揮することが確認され、その有効性が裏付けられた。