[論文レビュー] Learning to Generate Genotypes with Neural Networks

Alexander W. Churchill, Siddharth Sigtia+1 more|arXiv (Cornell University)|Apr 14, 2016

Evolutionary Algorithms and Applications参考文献 31被引用数 5

ひとこと要約

本稿では、ノイズ除去オートエンコーダ（dA）とニューラル自己回帰分布推定器（NADE）を用いて、ゲノタイプ探索のための適応的突然変異分布を学習する、新しい進化的アルゴリズムを提案する。高品質な解に対してオンラインでニューラルネットワークを訓練することで、従来の遺伝的アルゴリズムやEDAsよりも効果的な後代を生成し、MaxSat や HIFF といった困難な離散問題においてそれらを上回る性能を発揮する。

ABSTRACT

Neural networks and evolutionary computation have a rich intertwined history. They most commonly appear together when an evolutionary algorithm optimises the parameters and topology of a neural network for reinforcement learning problems, or when a neural network is applied as a surrogate fitness function to aid the evolutionary optimisation of expensive fitness functions. In this paper we take a different approach, asking the question of whether a neural network can be used to provide a mutation distribution for an evolutionary algorithm, and what advantages this approach may offer? Two modern neural network models are investigated, a Denoising Autoencoder modified to produce stochastic outputs and the Neural Autoregressive Distribution Estimator. Results show that the neural network approach to learning genotypes is able to solve many difficult discrete problems, such as MaxSat and HIFF, and regularly outperforms other evolutionary techniques.

研究の動機と目的

• 進化的アルゴリズムにおける静的遺伝的演算子の限界、特に有用な構築ブロックを破壊する点を解決すること。
• ニューラルネットワークが、進化的探索のための効果的でデータ駆動型の突然変異分布を学習できるかを検討すること。
• 有望な解のオンライン学習によって、ニューラルモデルの学習を進め、困難な組合せ最適化問題における収束性と解の品質を向上させられるかを調査すること。
• ニューラル生成モデルを用いて、推定分布法（EDAs）の適用範囲を実数値および混合整数問題へ拡張すること。
• ニューラルベースEDAsフレームワークにおける転移学習と局所探索とのハイブリダイズの可能性を評価すること。

提案手法

• 高品質なゲノタイプにノイズ除去オートエンコーダ（dA）を訓練し、探索空間の圧縮された構造的表現を学習する。
• dAの確率的出力を用いて突然変異を生成し、有望な解の符号化された構造に従って制御する。
• ニューラル自己回帰分布推定器（NADE）を用いて、ゲノタイプの同時確率分布を自己回帰的にモデル化する。
• 両モデルを、集団から選ばれた最良個体を用いてオンラインで訓練することで、探索分布の適応的学習を可能にする。
• 実数値および混合整数問題のためには、dAの出力を正規分布の平均と解釈し、NADEを実数値版（RNADE）に拡張する。
• ニューラルモデルを進化的ループに統合し、固定された遺伝的演算子の代わりに、訓練済みのニューラルモデルからのサンプリングによって後代を生成する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、困難な離散最適化問題における探索性能を向上させる、効果的で適応的な突然変異分布を学習できるか？
• RQ2 ニューラルベースEDAsの性能は、標準的な遺伝的アルゴリズム（GA）やPBIL や BOA といった確立されたEDAsと比べてどうか？
• RQ3 オンラインモデル学習はバイアスと収束性にどのような影響を及ぼすか？また、定期的な再訓練によってサンプルバイアスを低減できるか？
• RQ4 ニューラルモデルは、実数値および混合整数最適化問題へ一般化可能か？これにより、離散EDAsの範囲を超えた応用が可能になるか？
• RQ5 同じ訓練済みニューラルモデルを用いて、関連する問題インスタンス間で知識を転送できる程度はどの程度か？

主な発見

• ニューラルネットワークベースの進化的アルゴリズムは、MaxSat や HIFF を含む複数のベンチマーク問題において、標準的な遺伝的アルゴリズム（GA）を一貫して上回る性能を発揮する。
• dAベースの手法はGAに常に劣らず、探索効率と解の品質の面で強固な優位性を示している。
• NADEベースの手法は、特に高次元の複雑な探索空間において、PBIL や BOA より優れた性能を達成している。
• オンライン学習の導入により、特定の解の分割に強い偏りが生じるモデルバイアスのリスクが生じ、局所最適解に閉じ込められる可能性がある。
• dAの出力を正規分布の平均と解釈し、RNADEを用いて連続分布を扱うことで、実数値および混合整数問題への拡張が可能である。
• 予備的な結果から、あるタスクで訓練されたモデルが、その後のタスクの性能向上を加速させる、関連する問題インスタンス間での転移学習が実現可能である可能性が示唆されている。