[論文レビュー] Symbolic Regression Algorithms with Built-in Linear Regression

Jan Žegklitz, Petr Pošík|arXiv (Cornell University)|Jan 13, 2017

Evolutionary Algorithms and Applications参考文献 4被引用数 9

ひとこと要約

この論文は、モデル探索を高速化するために組み込み線形回帰を統合する3つの記号回帰アルゴリズム—EFS、FFX、GPTIPS—を比較している。合成データおよび実世界のベンチマークでデフォルト設定を使用した結果、FFXとEFSはより高速かつ一貫性があり、GPTIPSはより高い分散を示した。すべての手法は白箱モデルを生成するが、ランダムフォレストなどの従来の機械学習手法はしばしばより高い精度を達成した。

ABSTRACT

Recently, several algorithms for symbolic regression (SR) emerged which employ a form of multiple linear regression (LR) to produce generalized linear models. The use of LR allows the algorithms to create models with relatively small error right from the beginning of the search; such algorithms are thus claimed to be (sometimes by orders of magnitude) faster than SR algorithms based on vanilla genetic programming. However, a systematic comparison of these algorithms on a common set of problems is still missing. In this paper we conceptually and experimentally compare several representatives of such algorithms (GPTIPS, FFX, and EFS). They are applied as off-the-shelf, ready-to-use techniques, mostly using their default settings. The methods are compared on several synthetic and real-world SR benchmark problems. Their performance is also related to the performance of three conventional machine learning algorithms --- multiple regression, random forests and support vector regression.

研究の動機と目的

• 組み込み線形回帰を用いる最近の記号回帰アルゴリズムの高速収束を評価・比較すること。
• EFS、FFX、GPTIPSを標準化されたベンチマークで即時利用可能なツールとしての性能を評価すること。
• 線形回帰を内蔵する記号回帰手法の結果を、従来の機械学習モデル（LR、RF、SVR）の精度と解釈可能性の観点から比較すること。
• これらの手法がデフォルト設定下で示す性能のトレンドと限界を特定すること。
• 将来的なベンチマーク拡張およびパrameterチューニングのための記号回帰研究の基盤を提供すること。

提案手法

• 研究では、内部の変更を避けるために、EFS、FFX、GPTIPSをデフォルト設定の即時利用可能な記号回帰ツールとして使用した。
• EFSおよびFFXは、基底関数の線形係数を最適化するパスワイズ正則化学習を採用しており、高速収束を実現している。
• GPTIPSは、古典的複数線形回帰を用いて係数を計算するマルチジェーン遺伝的プログラミングを採用しており、モデルの表現力が向上している。
• すべての手法は、非線形基底関数を線形結合することで一般化線形モデルを生成する。
• 比較には、次元数やノイズレベルが異なる5つの合成的および4つの実世界の記号回帰ベンチマークが含まれている。
• 性能は中央値誤差と実行時間で評価され、複数の回帰、ランダムフォレスト、サポートベクタ回帰と比較された。

実験結果

リサーチクエスチョン

• RQ1 標準的な記号回帰ベンチマークにおいて、EFS、FFX、GPTIPSの記号モデルの精度と実行時間はどのように比較されるか？
• RQ2 組み込み線形回帰を備えた記号回帰手法は、従来の機械学習モデル（予測精度の観点で）を上回るか、同等の性能を発揮するか、どの程度か？
• RQ3 確率的（EFS、GPTIPS）と決定的（FFX）な記号回帰アルゴリズムの間で、性能にどのような差異があるか？
• RQ4 モデルの複雑さと特徴量次元数は、これらの記号回帰手法の実行時間と精度にどのように影響するか？
• RQ5 組み込み線形回帰を備えた記号回帰アルゴリズムは、実用的で即時利用可能な用途に十分成熟していると見なせるか？

主な発見

• FFXは記号回帰手法の中で最も高速な実行時間を達成し、ほとんどのデータセットで中央値10秒未塔を記録した。いくつかのベンチマークでは全般に最速であった。
• EFSはデータセット全体で一貫した性能を示し、特徴量数に比例して実行時間が線形に増加した。1次元データセットでは0.33秒、8次元データセットでは25.42秒であった。
• GPTIPSおよびmGPTIPSは中央値実行時間が最も長く、ほとんどのデータセットで40秒以上を記録したが、ENCおよびENHではFFXが遅かった。
• 高速収束を実現したにもかかわらず、FFXおよびEFSは一貫してGPTIPSの精度を上回らなかったが、結果の分散が低かった。
• 従来の機械学習モデル、特にランダムフォレスト（RF）は、ほとんどのベンチマークですべての記号回帰手法を上回る精度を達成した。
• 記号回帰と従来のモデルとの間の精度の差は比較的小さかったが、記号モデルは白箱の式としての解釈可能性という重要な利点を提供した。