[論文レビュー] A Theoretical Framework of Approximation Error Analysis of Evolutionary Algorithms

Jun He, Yu Chen+1 more|arXiv (Cornell University)|Oct 26, 2018

Metaheuristic Optimization Algorithms Research参考文献 22被引用数 4

ひとこと要約

本稿では、離散最適化における進化的アルゴリズム（EAs）の近似誤差を分析する理論的枠組みを提案する。EAsを均一なマルコフ連鎖としてモデル化し、ジョルダン標準形とシュールの三角化を用いて正確な表現式を導出し、収束速度解析および補助行列反復法を用いて上界を導出することで、実験的フィットネス値を超えた厳密な性能評価が可能になる。

ABSTRACT

In the empirical study of evolutionary algorithms, the solution quality is evaluated by either the fitness value or approximation error. The latter measures the fitness difference between an approximation solution and the optimal solution. Since the approximation error analysis is more convenient than the direct estimation of the fitness value, this paper focuses on approximation error analysis. However, it is straightforward to extend all related results from the approximation error to the fitness value. Although the evaluation of solution quality plays an essential role in practice, few rigorous analyses have been conducted on this topic. This paper aims at establishing a novel theoretical framework of approximation error analysis of evolutionary algorithms for discrete optimization. This framework is divided into two parts. The first part is about exact expressions of the approximation error. Two methods, Jordan form and Schur's triangularization, are presented to obtain an exact expression. The second part is about upper bounds on approximation error. Two methods, convergence rate and auxiliary matrix iteration, are proposed to estimate the upper bound. The applicability of this framework is demonstrated through several examples.

研究の動機と目的

• 実験的実践と理論的分析の間にあるギャップを埋めるために、進化的アルゴリズムにおける近似誤差を厳密に分析する理論的基盤を確立すること。
• 解の質の時間的変化を数学的に解析可能にするために、進化的アルゴリズムを均一なマルコフ連鎖としてモデル化すること。
• 特にエリート主義EAsを対象として、生成時間 $ t $ における期待近似誤差 $ e^{[t]} $ の正確な表現式を導出すること。
• 正確な表現式が不適切な場合に適用可能な、一般およびエリート主義EAsの $ e^{[t]} $ に対する上界推定技術を開発すること。
• 具体的な例（(1+1) EAおよびランダムサーチプロセスを含む）を通じて、この枠組みの適用可能性を示すこと。

提案手法

• 状態が解の質のレベルを表すように、遷移行列 $ \mathbf{P} $ を持つ均一なマルコフ連鎖としてEAsをモデル化する。
• ジョルダン標準形およびシュールの三角化を用いて、$ e^{[t]} $ の正確な表現式を導出し、$ e^{[t]} = \sum_{i=1}^{k} \sum_{m=1}^{L_i} c_{i_m} \binom{t}{L_i - m + 1} \lambda_i^{t - m + 1} $ として表現する。
• 収束速度解析を適用し、$ e^{[t]} \leq c(\lambda_{\text{max}} + \epsilon)^t $ を得る。ここで $ \lambda_{\text{max}} $ は遷移行列のスペクトル半径である。
• 上三角行列の遷移行列に対して、補助行列反復法とパワー要因を組み合わせて、より緊密な上界を導出する：$ e^{[t]} \leq \sum_{i=1}^{L} c_i(\lambda_i + \epsilon_i)^t $。
• 近似誤差を $ e^{[t]} = \mathbb{E}[|f(X^{[t]}) - f_{\text{opt}}|] $ として定義し、行列分解技術を用いてその時間的変化を分析する。
• 固有値分解および行列のべき乗解析を用いて、誤差ダイナミクスを遷移行列の固有値および係数の観点から表現する。

実験結果

リサーチクエスチョン

• RQ1 進化的アルゴリズムの生成時間 $ t $ における期待近似誤差 $ e^{[t]} $ の正確な解析的表現式は何か？
• RQ2 一般EAsの近似誤差の収束速度を理論的にどのように上界で抑えられるか？
• RQ3 行列分解および反復手法を用いて、エリート主義EAsの $ e^{[t]} $ に対してより緊密な上界を導出できるか？
• RQ4 対角化可能性や三角化などの行列の性質が、誤差表現の構造にどのように影響を与えるか？
• RQ5 遷移行列のスペクトル半径と、近似誤差の長期的減衰率との関係は何か？

主な発見

• 正確な表現式は $ e^{[t]} = \sum_{i=1}^{k} \sum_{m=1}^{L_i} c_{i_m} \binom{t}{L_i - m + 1} \lambda_i^{t - m + 1} $ として導出され、ここで $ \lambda_i $ は縮小された遷移行列 $ \mathbf{R} $ の固有値である。
• 遷移行列が対角化可能な場合、表現式は $ e^{[t]} = \sum_{i=1}^{L} c_i \lambda_i^t $ に簡略化され、直接固有値に基づく解析が可能になる。
• 収束速度法により、$ e^{[t]} \leq c(\lambda_{\text{max}} + \epsilon)^t $ という上界が得られ、すべてのEAsに適用可能である。ここで $ \lambda_{\text{max}} $ は $ \mathbf{R} $ のスペクトル半径である。
• 上三角行列の遷移行列に対しては、補助行列反復法によりより緊密な上界 $ e^{[t]} \leq \sum_{i=1}^{L} c_i(\lambda_i + \epsilon_i)^t $ が得られ、$ \epsilon_i $ は任意に小さくできる。
• (1+1) EAの例では、1ビット変更解から出発する場合、$ e^{[t]} \leq [f(n) - f(n-1)](1 - \frac{1}{ne})^t $ という上界が導出される。
• ランダムサーチプロセスへの適用例では、2個体の初期分布のもとで $ e^{[t]} \leq 2[f(n)-f(n-1)](1 - \frac{1}{ne})^t + [f(n)-f(n-2)](1 - \frac{2}{ne})^t $ が得られる。