[論文レビュー] Where are we now? A large benchmark study of recent symbolic regression methods

Patryk Orzechowski, William La Cava+1 more|arXiv (Cornell University)|Apr 25, 2018

Evolutionary Algorithms and Applications参考文献 34被引用数 11

ひとこと要約

本研究では、94個の実世界の回帰問題に対して、ネストドクロスバリデーションを用いて、4つの最近の記号的回帰（SR）手法と10の最先端の機械学習（ML）アルゴリズムを比較評価している。主な発見は、エプシロン・レキシカス選択に基づく遺伝的プログラミング（GP）手法（ELLYNにおけるEpsilon-Lexicase）が、全データセットで平均的に最も低いテスト誤差を達成しており、勾配ブースティングモデルでさえも上回っているが、単一スレッド実行のため、著しく長い実行時間が必要となる点である。

ABSTRACT

In this paper we provide a broad benchmarking of recent genetic programming approaches to symbolic regression in the context of state of the art machine learning approaches. We use a set of nearly 100 regression benchmark problems culled from open source repositories across the web. We conduct a rigorous benchmarking of four recent symbolic regression approaches as well as nine machine learning approaches from scikit-learn. The results suggest that symbolic regression performs strongly compared to state-of-the-art gradient boosting algorithms, although in terms of running times is among the slowest of the available methodologies. We discuss the results in detail and point to future research directions that may allow symbolic regression to gain wider adoption in the machine learning community.

研究の動機と目的

• 最近の記号的回帰（SR）手法の、最先端の機械学習（ML）回帰アルゴリズムとの性能を評価すること。
• 遺伝的プログラミング（GP）分野における標準化されたベンチマークの欠如を補うために、94個の多様な実世界の回帰問題を用いた大規模なデータセットを提供すること。
• 公平な比較を可能にするために、ネストドクロスバリデーションによるハイパーパrameterチューニングを含む再現可能なベンチマークフレームワークを提供すること。
• 予測精度に加え、SRおよびML手法の計算効率（ウォールクロック時間）についても評価すること。
• MLコミュニティにおける記号的回帰の広範な採用を促進するため、MLの全体像の中でSRを位置づけること。

提案手法

• 本研究では、4つの最近のGPベースの記号的回帰手法（エプシロン・レキシカス：Eplex、マルチプルリグレッションGP：MRGP、アフィンフォームGP：AFP、共生選択付き遺伝的表現プログラミング：GSGP）を評価している。
• scikit-learnに収録されている10の代表的なML回帰モデル（XGBoost、勾配ブースティング、ランダムフォレスト、MLP、Lasso-Lars、線形SVR、SGD回帰、線形回帰、カーネルリッジ、AdaBoost）も含めている。
• 合計94個の実世界の回帰データセットを、オープンソースリポジトリから収集し、ベンチマークに使用した。
• ハイパーパrameterチューニングには、5分割ネストドクロスバリデーションを用い、妥当なモデル選択とバイアスのない性能推定を確保した。
• 性能評価には、トレーニングセットおよびテストセットにおける平均二乗誤差（MSE）に加え、各手法のウォールクロック実行時間を測定した。
• ソースコードおよびデータセットコレクションは、再現性と今後の新規手法のベンチマークに役立てるために公開された。

実験結果

リサーチクエスチョン

• RQ1 最近の記号的回帰手法は、実世界の回帰問題において、最先端の機械学習アルゴリズムと比較して、予測性能でどの程度優れているか？
• RQ2 多様なデータセットにわたる一般化性能を最大化するための、記号的回帰のハイパーパrameter設定は何か？
• RQ3 記号的回帰手法の計算実行時間は、XGBoost やランダムフォレストなどの現代的MLアルゴリズムと比較してどの程度か？
• RQ4 テスト誤差とモデルの複雑さの観点から、最も効果的な記号的回帰手法は何か？
• RQ5 記号的回帰手法は、勾配ブースティングやアンサンブル手法と同等か、それ以上の性能を達成できるか、その程度はどの程度か？

主な発見

• エプシロン・レキシカス選択に基づくGP手法（Eplex）は、全94データセットで平均的に最も低いテストセットMSE順位を達成し、XGBoostや他の優れたMLモデルを上回った。
• 100万回のフィットネス評価を実行したEplexは、高い計算コストにもかかわらず、最低の平均テスト誤差を達成し、優れた予測性能を示した。
• MRGPとEplexは、多くのデータセットでXGBoost やランダムフォレストと同等またはそれ以上の性能を発揮した。
• すべてのGPベース手法は、ML手法と比較して著しく長いウォールクロック実行時間を示し、Eplexは一部のデータセットでXGBoostに比べて最大100倍も長時間かかっていた。これは単一スレッド実行に起因する。
• 各手法で頻繁に選ばれたパラメータ設定は、大きな集団サイズ（例：1000）と中程度の交差／突然変異率を特徴としており、EplexとAFPは高い交差率（0.8）と低い突然変異率（0.2）を好んでいた。
• 線形回帰とカーネルリッジ回帰は安定した性能を示したが、クロスバリデーションでは最適とされなかった。これは、複雑な回帰タスクには単純さだけでは不十分である可能性を示唆している。