[論文レビュー] A Novel Continuous Representation of Genetic Programmings using Recurrent Neural Networks for Symbolic Regression

Aftab Anjum, Fengyang Sun+2 more|arXiv (Cornell University)|Apr 6, 2019

Evolutionary Algorithms and Applications参考文献 29被引用数 5

ひとこと要約

本稿では、再帰的ニューラルネットワーク（RNN）を用いて遺伝子文字列を符号化することで、遺伝的プログラミングにおける記号回帰のための新しい連続的表現、ニューロ符号化表現プログラミングを提案する。連続的進化的アルゴリズムによりRNNの重みを最適化することで、適合度のランドスケープが滑らかになり、近隣探索が向上し、従来の離散的線形表現と比較して、記号回帰ベンチマークにおけるテスト精度と効率性が向上する。

ABSTRACT

Neuro-encoded expression programming that aims to offer a novel continuous representation of combinatorial encoding for genetic programming methods is proposed in this paper. Genetic programming with linear representation uses nature-inspired operators to tune expressions and finally search out the best explicit function to simulate data. The encoding mechanism is essential for genetic programmings to find a desirable solution efficiently. However, the linear representation methods manipulate the expression tree in discrete solution space, where a small change of the input can cause a large change of the output. The unsmooth landscapes destroy the local information and make difficulty in searching. The neuro-encoded expression programming constructs the gene string with recurrent neural network (RNN) and the weights of the network are optimized by powerful continuous evolutionary algorithms. The neural network mappings smoothen the sharp fitness landscape and provide rich neighborhood information to find the best expression. The experiments indicate that the novel approach improves test accuracy and efficiency on several well-known symbolic regression problems.

研究の動機と目的

• 離散的線形表現の限界、特に不連続な適合度ランドスケープと局所探索性の低さを是正すること。
• 近隣情報が保持され、勾配に類似した最適化が可能な連続的表現としての遺伝的プログラムの表現を構築すること。
• RNNを用いて遺伝子文字列を滑らかで微分可能な写像で符号化することで、記号回帰のパフォーマンスを向上させること。
• RNN重みの連続的進化的最適化を通じて、探索効率とテスト精度を向上させること。
• 提案手法の優位性を、従来の離散的遺伝的プログラミング手法と比較して示すこと。

提案手法

• 本手法は、遺伝的プログラミングにおける従来の離散的線形符号化に代わって、再帰的ニューラルネットワーク（RNN）を用いて遺伝子文字列を生成する。
• RNNは連続的進化的アルゴリズムを用いて重みを最適化することで、解空間における滑らかな遷移を実現する。
• RNNは入力パラメータを連続的かつ微分可能な方法で遺伝子文字列にマッピングし、入力の微小な変化に対しても出力の急激な変化を低減する。
• RNN出力の連続的性質のおかげで適合度ランドスケープが滑らかになり、より効果的な探索が可能な局所情報を保持する。
• 進化したRNNが生成する式木は、記号回帰の評価に用いられ、標準的なベンチマーク問題でパフォーマンスが測定される。
• 本手法は、遺伝的プログラミングの進化的探索と、RNNおよび進化的アルゴリズムの連続的最適化能力を統合する。

実験結果

リサーチクエスチョン

• RQ1 RNNによる連続的表現は、記号回帰のための遺伝的プログラミングにおける適合度ランドスケープの滑らかさを向上させることができるか？
• RQ2 RNNベースの遺伝子符号化の使用は、記号回帰タスクにおける探索効率と収束速度を向上させるか？
• RQ3 提案されたニューロ符号化表現プログラミングは、標準的な記号回帰問題において、従来の離散的線形遺伝的プログラミングと比較してどのようにパフォーマンスを発揮するか？
• RQ4 連続的表現は、近隣情報の保持と局所最適化の支援にどの程度寄与するか？
• RQ5 RNN重みの連続的進化的最適化は、記号回帰における一般化性能とテスト精度の向上に寄与するか？

主な発見

• 提案されたニューロ符号化表現プログラミングは、従来の離散的線形表現と比較して、いくつかの有名な記号回帰問題で改善されたテスト精度を達成した。
• RNNベースの符号化による連続的性質のおかげで、滑らかな適合度ランドスケープが実現され、探索効率が向上した。
• RNNが生成する遺伝子文字列の連続的性質により、解空間における破壊的な変化が低減され、局所情報を保持したままの探索が可能になった。
• RNNと連続的進化的アルゴリズムの統合により、解空間のより効果的な探索が可能になった。
• 実験の結果、RNNベースの表現が記号回帰ベンチマークで優れたパフォーマンスを発揮することが確認され、複雑な関数の発見の可能性が示された。
• 本手法は、離散的表現の限界を克服し、よりナビゲート可能で情報豊かな探索空間を提供した。