[論文レビュー] Model-based Genetic Programming with GOMEA for Symbolic Regression of Small Expressions

Marco Virgolin, Tanja Alderliesten+2 more|arXiv (Cornell University)|Apr 3, 2019

Evolutionary Algorithms and Applications被引用数 2

ひとこと要約

本論文は、小規模で解釈可能な式を対象とした、GOMEAフレームワーク内での新しい連結学習（LL）手法を提案する。遺伝子型の非一様性を是正し、一時的ランダム定数を活用することで、従来のGPおよび意味的GPを上回る性能を発揮する。10個の実世界データセットにおいて、厳密なサイズ制約下でチューニングされた決定木をも上回った。

ABSTRACT

The Gene-pool Optimal Mixing Evolutionary Algorithm (GOMEA) is a model-based EA framework that has been shown to perform well in several domains, including Genetic Programming (GP). Differently from traditional EAs where variation acts blindly, GOMEA learns a model of interdependencies within the genotype, i.e., the linkage, to estimate what patterns to propagate. In this article, we study the role of Linkage Learning (LL) performed by GOMEA in Symbolic Regression (SR). We show that the non-uniformity in the distribution of the genotype in GP populations negatively biases LL, and propose a method to correct for this. We also propose approaches to improve LL when ephemeral random constants are used. Furthermore, we adapt a scheme of interleaving runs to alleviate the burden of tuning the population size, a crucial parameter for LL, to SR. We run experiments on 10 real-world datasets, enforcing a strict limitation on solution size, to enable interpretability. We find that the new LL method outperforms the standard one, and that GOMEA outperforms both traditional and semantic GP. We also find that the small solutions evolved by GOMEA are competitive with tuned decision trees, making GOMEA a promising new approach to SR.

研究の動機と目的

• 遺伝子型の非一様性が遺伝的プログラミング（GP）集団における連結学習（LL）に与えるバイアスを調査すること。
• GPで一時的ランダム定数が使用される状況における、効果的な連結学習の課題を解決すること。
• 入れ替え実行戦略を用いることで、モデルベースGPの集団サイズチューニングへの感受性を低減すること。
• 解釈可能性を確保するための厳密な式サイズ制約下での、改善されたGOMEAフレームワークのシンボリック回帰における性能を評価すること。

提案手法

• GP集団における非一様な遺伝子型分布が連結学習に及ぼすバイアスを軽減するための補正手法を提案する。
• 一時的ランダム定数の影響を保持できるように、連結モデルを変更することでGOMEAフレームワークを、それらの定数の処理に適応させる。
• 手動による集団サイズチューニングへの依存度を低減するため、入れ替え実行戦略を導入し、多様な問題例にわたるロバスト性を向上させる。
• GOMEAによるモデルベース最適化を採用し、遺伝子型内の連結構造を学習・活用することで、無作為な変異よりも効果的な探索を可能にする。
• 解釈可能性を保証するための最大式サイズ制限を課したシンボリック回帰タスクに、改善されたGOMEAフレームワークを適用する。
• 10個の実世界データセットを用いて、制御された小規模式制約下での性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 遺伝子型の非一様性はGP集団における連結学習にどのように影響するのか。また、そのバイアスはモデル精度の向上に向け補正可能か。
• RQ2 一時的ランダム定数の存在が、GPにおける効果的な連結学習をどの程度妨げるのか。その影響をどのように軽減できるか。
• RQ3 入れ替え実行戦略により、GOMEAの集団サイズチューニングへの感受性を低減できるか。
• RQ4 提案されたGOMEAベースのシンボリック回帰手法は、サイズ制約下の実世界データセットにおいて、従来のGPおよび意味的GPと比較してどの程度の性能を発揮するか。

主な発見

• 提案された連結学習補正法は、標準的なGOMEAのLL手法に比べ、シンボリック回帰において顕著な性能向上をもたらした。
• 改善されたLL手法を備えたGOMEAは、10個の実世界データセットすべてにおいて、従来のGPおよび意味的GPを上回った。
• GOMEAが生成した小規模な式は、チューニング済みの決定木と同等の性能を示し、優れた一般化能力と解釈可能性を示した。
• 入れ替え実行戦略は、集団サイズチューニングの負担を効果的に軽減し、さまざまな問題例にわたるロバスト性を向上させた。
• 変更された連結モデルにより、一時的ランダム定数の使用がより効果的にサポートされ、探索の効率性と解法品質が向上した。
• 結果から、強化された連結学習を備えたモデルベースGPは、解釈可能性が重要な状況において、シンボリック回帰の有望なアプローチであると確認された。