[論文レビュー] Elite Bases Regression: A Real-time Algorithm for Symbolic Regression

Chen Chen, Changtong Luo+1 more|arXiv (Cornell University)|Apr 24, 2017

Evolutionary Algorithms and Applications参考文献 14被引用数 6

ひとこと要約

本稿では、実時間で動作する非進化型の記号回帰アルゴリズムであるエリートベース回帰（EBR）を提案する。EBRは、相関係数を用いて選択された相関が高い基本関数のみを繰り返し保持・更新することで、モデル発見を高速化する。EBRはFFXよりも低い正規化平均二乗誤差（NMSE）とより簡潔なモデルを達成しており、大規模な線形システムの解法を回避するため、計算がより高速である。

ABSTRACT

Symbolic regression is an important but challenging research topic in data mining. It can detect the underlying mathematical models. Genetic programming (GP) is one of the most popular methods for symbolic regression. However, its convergence speed might be too slow for large scale problems with a large number of variables. This drawback has become a bottleneck in practical applications. In this paper, a new non-evolutionary real-time algorithm for symbolic regression, Elite Bases Regression (EBR), is proposed. EBR generates a set of candidate basis functions coded with parse-matrix in specific mapping rules. Meanwhile, a certain number of elite bases are preserved and updated iteratively according to the correlation coefficients with respect to the target model. The regression model is then spanned by the elite bases. A comparative study between EBR and a recent proposed machine learning method for symbolic regression, Fast Function eXtraction (FFX), are conducted. Numerical results indicate that EBR can solve symbolic regression problems more effectively.

研究の動機と目的

• 大規模な問題における記号回帰における遺伝的プログラミング（GP）の収束が遅く、再現性に欠ける問題に対処する。
• パスワイズ正則化中に大規模な線形システムを解く必要があるため、FFXの計算ボトルネックを克服する。
• モデルの精度、単純さ、速度のバランスを取る決定論的で実時間対応の記号回帰手法を開発する。
• 計算時間とメモリ使用量を削減することで、記号回帰を工学的・データ分析的応用に実用的に導入可能にする。

提案手法

• 特定のマッピングルールに従い、解析行列を用いて候補となる基本関数を符号化し、体系的に記号的式を生成する。
• 各候補基本関数のターゲット関数との相関係数を用いて関連性を評価し、順位付けを行う。
• 各反復で上位n個の相関が高い基本関数（エリートベース）のみを保持し、残りを破棄することで計算負荷を低減する。
• 一般化線形モデル（GLM）フィッティングを用いて、エリートベースの線形結合として最終回帰モデルを構築する。
• エリートベースに限定することで大規模な線形システムの解法を回避し、実時間性能を実現する。
• 制御パラメータ $ n_{presv} $ を用いて保持するエリートベースの数を調整し、精度と効率のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 非進化型の記号回帰手法は、GPに比べて収束を高速化しつつも、精度を維持できるか？
• RQ2 大規模な線形システムの解法を回避することで、記号回帰における実時間性能が向上するか？
• RQ3 相関が高い基本関数のみを選択することで、全基本関数の列挙に比べてより簡潔で正確なモデルが得られるか？
• RQ4 ベンチマーク問題において、EBRはFFXと比較してモデルの単純さ、NMSE、計算コストの点でどのように異なるか？
• RQ5 エリートベース数（$ n_{presv} $）の影響は、モデルの精度と計算効率にどのようなものか？

主な発見

• EBRは、すべてのテストケースでFFXよりも顕著に低い正規化平均二乗誤差（NMSE）を達成しており、複数のケースでNMSEが1%未満に抑えられている。
• EBRはFFXよりもより簡潔な回帰モデルを生成しており、使用する基本関数の数が少ない。例えば、ケース24ではEBRで14個の基本関数を使用したが、FFXでは16個であった。
• 高次非線形関数（例：ケース17、21、24）において、EBRはモデルの単純さと精度の両面でFFXを上回っており、優れた構造最適化能力を示している。
• エリートベース数 $ n_{presv} = 35 $ の場合、複雑な1次元および2次元非線形モデルではNMSE ≤ 5% を達成できなかったが、$ n_{presv} $ を200に増加させることで、より高い基本関数数で正確な近似が可能になった。
• より多くの基本関数を用いても、EBRはFFXよりも低いNMSEを維持しており、複雑な関数形を捉える際の頑健さと有効性が示された。
• 大規模な線形システムの解法を回避することでEBRは実時間計算を実現し、時間的制約のある実用的応用に適している。