[論文レビュー] Evolving Boolean Functions with Conjunctions and Disjunctions via Genetic Programming

Benjamin Doerr, Andrei Lissovoi+1 more|arXiv (Cornell University)|Mar 28, 2019

Evolutionary Algorithms and Applications参考文献 16被引用数 8

ひとこと要約

本稿は、木サイズ制限と部分木削除変異作用素を備えた変更版RLS-GPアルゴリズムを分析し、$n$ 個の変数の論理積をANDおよびOR演算子を用いて進化させる。完全な真理値表を用いた場合、正確な目的関数を$O(\ell n\log^2 n)$の期待反復回数で効率的に得られ、入力のランダムサンプリングでは不要なOR演算子を回避し、多項式的に小さい一般化誤差を達成する。

ABSTRACT

Recently it has been proved that simple GP systems can efficiently evolve the conjunction of $n$ variables if they are equipped with the minimal required components. In this paper, we make a considerable step forward by analysing the behaviour and performance of the GP system for evolving a Boolean function with unknown components, i.e., the function may consist of both conjunctions and disjunctions. We rigorously prove that if the target function is the conjunction of $n$ variables, then the RLS-GP using the complete truth table to evaluate program quality evolves the exact target function in $O(\\ell n \\log^2 n)$ iterations in expectation, where $\\ell \\geq n$ is a limit on the size of any accepted tree. When, as in realistic applications, only a polynomial sample of possible inputs is used to evaluate solution quality, we show how RLS-GP can evolve a conjunction with any polynomially small generalisation error with probability $1 - O(\\log^2(n)/n)$. To produce our results we introduce a super-multiplicative drift theorem that gives significantly stronger runtime bounds when the expected progress is only slightly super-linear in the distance from the optimum.

研究の動機と目的

• ANDおよびOR演算子を用いて$n$ 個の変数の論理積を進化させるRLS-GPの性能を分析すること。
• 解空間における論理和の影響によるブロード（bloat）と局所最適解の問題に向き合うために、木サイズ制限と変更された変異作用素を導入すること。
• 完全な真理値表評価と多項式サイズの入力集合のサンプリングの両方の設定下で、RLS-GPの理論的実行時間バウンドを確立すること。
• 現実的設定下で、余分なOR演算子を挿入するのを避けつつ、低い一般化誤差を達成できるかどうかを調査すること。
• より複雑な関数集合と現実的なフィットネス評価メカニズムを組み込んだことで、従来のGP理論結果を拡張すること。

提案手法

• 従来のHVL-Prime作用素が局所最適解に閉じ込められがちなのを克服するため、1ステップで完全な部分木を削除できる部分木削除変異作用素をRLS-GPアルゴリズムが使用する。
• ブロードを防ぎ、有限の期待実行時間を保証するため、構文木にサイズ制限$\ell \geq n$を課す。
• フィットネス評価は、完全な真理値表（$2^n$ 入力）または多項式サイズのランダムサブセット入力の両方を用いる。
• 進化の進行が最適解からの距離に対してわずかに超線形的である場合に、よりタイトな実行時間バウンドを導出するために、スーパー乗法的ドリフト定理を導入する。
• $n$ と $\ell$ を変化させた実験的評価を行い、平均実行時間、解のサイズ、および最終解におけるORノード数を報告する。
• 動的サブセット選択を用いて、多項式計算コストで実現可能な現実的なフィットネス評価をシミュレートする。

実験結果

リサーチクエスチョン

• RQ1 ANDおよびOR演算子の両方が利用可能な状況で、RLS-GPは$n$ 個の変数の論理積を効率的に進化させられるか？
• RQ2 部分木削除変異作用素の導入により、論理和の影響で生じる局所最適解に起因する無限の期待実行時間の問題が解消されるか？
• RQ3 フィットネス評価に完全な真理値表とランダムにサンプリングされた入力サブセットの両方を用いた場合、RLS-GPの期待実行時間はどの程度か？
• RQ4 多項式サイズのサンプリング入力のみを用いた場合、RLS-GPは高確率で多項式的に小さい一般化誤差を達成できるか？
• RQ5 ANDおよびOR演算子が関数集合に存在する状況下で、アルゴリズムは余分なOR演算子をどれほど避けることができるか？

主な発見

• 部分木削除と木サイズ制限$\ell = (1+c)n$を備えたRLS-GPは、完全な真理値表を用いた場合、$n$ 個の変数の正確な論理積を$O(\ell n\log^2 n)$の期待反復回数で進化させる。
• 多項式サイズのランダム入力サブセットを用いたフィットネス評価では、RLS-GPは確率$1 - O(\log^2 n / n)$で任意の多項式的に小さい一般化誤差を達成する。
• 実験により、最終的な木に生存するORノードの数が非常に少ないことから、アルゴリズムは不要なOR演算子の挿入を避けることが確認された。
• 実験的結果から、木サイズ制限$\ell$を大きくすると実行時間が短縮されることが示され、理論的バウンドが保守的である可能性がある。
• $\ell$ の値が大きい解では、余分な変数が多く含まれる傾向があることから、最適化速度と解の複雑さのトレードオフが生じていることが示された。
• スーパー乗法的ドリフト定理により、最適解からの距離に対して進捗がわずかに超線形的である場合でも、よりタイトな実行時間バウンドを導出可能となった。