[論文レビュー] Simple Hyper-heuristics Optimise LeadingOnes in the Best Runtime Achievable Using Randomised Local Search Low-Level Heuristics

Andrei Lissovoi, Pietro S. Oliveto+1 more|arXiv (Cornell University)|Jan 23, 2018

Metaheuristic Optimization Algorithms Research被引用数 1

ひとこと要約

本稿では、ランダム化局所探索（RLS）の近傍サイズを動的に選択するために、最小限の強化学習メカニズムを用いた一般化されたランダム勾配ハイパーヒューリスティック（GRG）を提案する。LeadingOnes関数において、GRGは低レベルのヒューリスティクスのみを用いて最適な実行時間性能を達成できることを証明し、標準的なRLSや進化的アルゴリズムを上回る性能を示す。特に、いつでも性能（anytime performance）指標において顕著な優位性を示す。

ABSTRACT

Selection HHs are randomised search methodologies which choose and execute heuristics during the optimisation process from a set of low-level heuristics. A machine learning mechanism is generally used to decide which low-level heuristic should be applied in each decision step. In this paper we analyse whether sophisticated learning mechanisms are always necessary for HHs to perform well. To this end we consider the most simple HHs from the literature and rigorously analyse their performance for the LeadingOnes function. Our analysis shows that the standard Simple Random, Permutation, Greedy and Random Gradient HHs show no signs of learning. While the former HHs do not attempt to learn from the past performance of low-level heuristics, the idea behind the Random Gradient HH is to continue to exploit the currently selected heuristic as long as it is successful. Hence, it is embedded with a reinforcement learning mechanism with the shortest possible memory. However, the probability that a promising heuristic is successful in the next step is relatively low when perturbing a reasonable solution to a combinatorial optimisation problem. We generalise the simple Random Gradient HH so success can be measured over a fixed period of time tau, instead of a single iteration. For LO we prove that the Generalised Random Gradient HH can learn to adapt the neighbourhood size of RLS to optimality during the run. We prove it has the best possible performance achievable with the low-level heuristics. We also prove that the performance of the HH improves as the number of low-level local search heuristics to choose from increases. Finally, we show that the advantages of GRG over RLS and EAs using standard bit mutation increase if the anytime performance is considered. Experimental analyses confirm these results for different problem sizes.

研究の動機と目的

• ハイパーヒューリスティクスが高性能を達成するために、洗練された学習メカニズムが必須かどうかを調査すること。
• LeadingOnes関数における基本的なハイパーヒューリスティクス（シンプルランダム、順列、グリーディ、ランダム勾配）の性能を分析すること。
• 時間窓τ内での成功を測定する一般化されたランダム勾配ハイパーヒューリスティック（GRG）を設計・分析すること。
• GRGが、与えられた低レベルのヒューリスティクスを用いて、RLSの近傍サイズを最適に適応させられることを証明すること。
• 低レベルヒューリスティクスの数を増加させた場合のハイパーヒューリスティクスの性能への影響を評価し、RLSおよび標準的な進化的アルゴリズムと比較すること。

提案手法

• 本稿では、シンプルランダム、順列、グリーディ、ランダム勾配の4つのベースラインハイパーヒューリスティクスを分析する。これらはすべて、低レベルの局所探索ヒューリスティクスのみを用いる。
• 本稿では、一般化されたランダム勾配（GRG）ハイパーヒューリスティクスを導入する。GRGは、1ステップではなく固定時間窓τ内でのヒューリスティクスの成功を評価する。
• GRGは、最小限の記憶を備えた強化学習メカニズムを用いる。具体的には、τ回連続して良好な性能を示す限り、同じヒューリスティクスを継続して使用する。
• 分析はLeadingOnes関数に焦点を当て、GRGの実行時間の理論的分析を行い、RLSおよび標準的な進化的アルゴリズムと比較する。
• 理論的証明により、GRGが与えられた低レベルヒューリスティクスを用いて達成可能な最良の実行時間性能を達成できることを示している。
• 低レベルヒューリスティクスの数が増加するに従っての性能向上の上限を導出する。

実験結果

リサーチクエスチョン

• RQ1 複雑な学習メカニズムを備えざるハイパーヒューリスティクスでも、組合せ最適化問題において最適な性能を達成できるか？
• RQ2 最小限の記憶を備えたランダム勾配ハイパーヒューリスティクスは、LeadingOnes関数において学習の兆候を示すか？
• RQ3 成功評価窓を1ステップからτステップに一般化することで、ハイパーヒューリスティクスの性能が顕著に向上するか？
• RQ4 利用可能な低レベルヒューリスティクスの数を増加させることで、ハイパーヒューリスティクスの性能が向上するか？
• RQ5 GRGハイパーヒューリスティクスの、いつでも性能（anytime performance）は、ビット反転変異を用いた標準的なRLSおよび進化的アルゴリズムと比較してどうなるか？

主な発見

• 標準的なシンプルランダム、順列、グリーディ、ランダム勾配ハイパーヒューリスティクスは、過去のヒューリスティクスの性能に基づく適応がないため、学習行動を示さない。
• 一般化されたランダム勾配（GRG）ハイパーヒューリスティクスは、実行中にRLSの近傍サイズを最適に適応させることに成功し、与えられた低レベルヒューリスティクスを用いて達成可能な最良の実行時間性能を達成する。
• GRGの性能は、利用可能な低レベル局所探索ヒューリスティクスの数が増加するに従って向上し、このアプローチのスケーラビリティを示している。
• GRGは、RLSおよび標準的な進化的アルゴリズムを上回る性能を示す。特に、早期収束が重要な際の「いつでも性能」指標において顕著な優位性を示す。
• 実験結果は、さまざまな問題サイズにおいて理論的予測を裏付け、GRGアプローチの頑健性を検証している。