[論文レビュー] Search space analysis with Wang-Landau sampling and slow adaptive walks

Susan Khor|arXiv (Cornell University)|Dec 27, 2011

Evolutionary Algorithms and Applications参考文献 21被引用数 3

ひとこと要約

本稿では、Wang-Landauサンプリングとスローアダプティブウォークを用いた新しい手法を提案し、局所最適解の可能性がある点（PLOPs）を特定するとともに、サンプリング効率を向上させる。局所最適解を高アクセスビリティと低脱出能を持つ点としてモデル化し、局所最適解スコアを用いて評価することで、Wang-Landauサンプリングを大規模な探索空間に適合させる。このアプローチにより、真の局所最適解の主要な特徴を保持するPLOPsを特定し、一様なランダムサンプリングよりもより代表的なサンプルを生成するが、計算コストの高さが依然として課題である。

ABSTRACT

Two complementary techniques for analyzing search spaces are proposed: (i) an algorithm to detect search points with potential to be local optima; and (ii) a slightly adjusted Wang-Landau sampling algorithm to explore larger search spaces. The detection algorithm assumes that local optima are points which are easier to reach and harder to leave by a slow adaptive walker. A slow adaptive walker moves to a nearest fitter point. Thus, points with larger outgoing step sizes relative to incoming step sizes are marked using the local optima score formulae as potential local optima points (PLOPs). Defining local optima in these more general terms allows their detection within the closure of a subset of a search space, and the sampling of a search space unshackled by a particular move set. Tests are done with NK and HIFF problems to confirm that PLOPs detected in the manner proposed retain characteristics of local optima, and that the adjusted Wang-Landau samples are more representative of the search space than samples produced by choosing points uniformly at random. While our approach shows promise, more needs to be done to reduce its computation cost that it may pave a way toward analyzing larger search spaces of practical meaning.

研究の動機と目的

• 複数の固定移動セットに依存せずに、複雑な探索空間における潜在的局所最適解（PLOPs）を特定する手法を開発すること。
• スローアダプティブウォークに適応させることで、Wang-Landauサンプリングを大規模な探索空間の広範な探索に適合させること。
• 提案手法により特定されたPLOPsが、真の局所最適解の本質的特徴を保持していることを検証すること。
• 調整済みWang-Landauサンプリングが一様ランダムサンプリングよりもより代表的なサンプルを生成することを示すこと。
• 大規模な探索空間を分析する際の高い計算コストという課題を解決し、実用的応用に向けた対策を講じること。

提案手法

• スローアダプティブウォークにおける出力ステップサイズと入力ステップサイズの比に基づいて局所最適解スコアを計算し、到達は容易だが脱出が困難な点をPLOPsとして特定する。
• スローアダプティブウォークアルゴリズムは、より適応度の高い隣接点へのみ移動するため、局所最適解に蓄積するプロセスを模倣する。
• Wang-Landauサンプリングアルゴリズムをスローアダプティブウォークのダイナミクスを組み込むように変更し、探索空間の広範な探索を可能にする。
• 探索空間の部分集合の閉包内においてPLOPsを検出可能であり、全空間が明示的に定義されていなくても検出が可能である。
• NKおよびHIFFベンチマーク問題に本手法を適用し、PLOPの品質とサンプリングの代表的性を評価する。
• 一様ランダムサンプリングと比較してサンプリング効率を評価し、より良いカバレッジと代表的性を示した。

実験結果

リサーチクエスチョン

• RQ1 スローアダプティブウォークにおけるステップサイズ比によって特定された潜在的局所最適解（PLOPs）は、真の局所最適解の重要な特徴を保持できるか？
• RQ2 調整済みWang-Landauサンプリングアルゴリズムは、一様ランダムサンプリングと比較して探索空間のカバレッジをどの程度向上させるか？
• RQ3 全列挙が不要な状況でも、探索空間の部分集合の閉包内にPLOPsを検出できる範囲はどの程度か？
• RQ4 スローアダプティブウォークとWang-Landauサンプリングを統合することで、複雑な探索空間のより代表的なサンプリングが可能になるか？
• RQ5 提案手法の計算コストはどの程度で、大規模問題への実用的応用に向けた低減は可能か？

主な発見

• NKおよびHIFF問題において、局所最適解スコア式を用いて特定されたPLOPsは、真の局所最適解の本質的特徴を保持している。
• 調整済みWang-Landauサンプリングアルゴリズムは、一様ランダムサンプリングよりも探索空間のより代表的なサンプルを生成する。
• 本手法は、探索空間の部分集合の閉包内においても、全列挙が不要な状況でも潜在的局所最適解を効果的に特定できる。
• 特定の移動セットに依存しない探索空間分析が可能となり、問題表現の柔軟性が向上する。
• 有用性は示されたが、依然として高い計算コストを伴い、非常に大規模な探索空間へのスケーラビリティに制限がある。
• 本手法は、複雑で高次元の探索空間の分析に実現可能であるが、実用的導入のためのさらなる最適化が求められる。