[論文レビュー] Recent Results on No-Free-Lunch Theorems for Optimization

Christian Igel, Marc Toussaint|ArXiv.org|Mar 31, 2003

Metaheuristic Optimization Algorithms Research参考文献 10被引用数 13

ひとこと要約

この論文は最適化のためのノーフリーランチ（NFL）定理を、任意の非一様な目的関数の分布へと拡張し、NFL結果が成立するための必要十分条件を確立する。NFLのアルゴリズム間同等性が、置換群の下で同じ軌道に属する関数が等しい事前確率を持つ場合にかつその場合に限り成立することを証明しており、現実的で非一様な分布下ではNFL結果が極めてまれであることを示している。

ABSTRACT

The sharpened No-Free-Lunch-theorem (NFL-theorem) states that the performance of all optimization algorithms averaged over any finite set F of functions is equal if and only if F is closed under permutation (c.u.p.) and each target function in F is equally likely. In this paper, we first summarize some consequences of this theorem, which have been proven recently: The average number of evaluations needed to find a desirable (e.g., optimal) solution can be calculated; the number of subsets c.u.p. can be neglected compared to the overall number of possible subsets; and problem classes relevant in practice are not likely to be c.u.p. Second, as the main result, the NFL-theorem is extended. Necessary and sufficient conditions for NFL-results to hold are given for arbitrary, non-uniform distributions of target functions. This yields the most general NFL-theorem for optimization presented so far.

研究の動機と目的

• 既存の最適化のためのNFL定理における一様分布仮定の限界を扱う。
• 実用的な問題クラスが置換に関して閉じている（c.u.p.）可能性を評価する。これはNFL結果の前提条件である。
• 任意の非一様な目的関数の分布におけるNFL定理の必要十分条件を導出する。
• NFL条件下での望ましい解を見つけるために必要な評価回数の平均を分析する。
• 現実世界の制約が、NFLの前提条件を満たす関数クラスを生じるかどうかを評価する。

提案手法

• 有限な探索空間 $\mathcal{X}$、有限なコスト値集合 $\mathcal{Y}$、目的関数 $f: \mathcal{X} \to \mathcal{Y}$ を用いて最適化の状況を形式化する。
• 置換群 $\Pi(\mathcal{X})$ の下での軌道 $B_h$ の概念を導入し、互いに置換で関連する関数をグループ化する。
• 評価アルゴリズムの性能を測るための性能指標 $c$ を定義し、コスト値のシーケンスを実数にマッピングする。
• NFL同等性が二つのアルゴリズム $a$ と $b$ 間で成立するための必要十分条件として、同じ軌道 $B_h$ に属するすべての関数が等しい事前確率 $p(f) = p(g)$（$f,g \in B_h$）を持つことであることを確立する。
• 性能分布の比較に、クロネッカーのデルタ $\delta(k, c(Y(f,m,a)))$ を用いる。
• 背理法を用いて必要性と十分性を証明する：$f,g$ が同じ軌道に属するが $p(f) \neq p(g)$ ならば、ある $c$, $k$, $a$, $b$ に対してNFL同等性は成立しない。

実験結果

リサーチクエスチョン

• RQ1 非一様な目的関数の分布上で平均をとった場合、すべての最適化アルゴリズムが等しい平均性能を持つのはどのような条件下か？
• RQ2 ランダムに選ばれた関数の部分集合が、置換に関して閉じている（c.u.p.）確率はどの程度か？これはNFL定理の成立に必要な条件である。
• RQ3 現実の最適化問題における実用的制約が、c.u.p. またはNFL条件を満たす関数クラスを生じるか？
• RQ4 NFL条件下での望ましい解を見つけるために必要な関数評価回数の平均は何か？
• RQ5 NFL定理を一様分布に限らず、任意の非一様な目的関数に対する事前分布へ一般化できるか？

主な発見

• 任意の分布下でNFL結果が成立するための必要十分条件は、置換の下で同じ軌道に属するすべての関数が等しい事前確率を持つことである。
• 同じ軌道に属する関数が異なる事前確率を持つ場合、たとえ互いに置換で関連していてもNFL同等性は成立しない。
• 一般の非一様ケースでは、関数上でのランダムに選ばれた分布がNFL条件を満たす確率はゼロである。
• 一様分布に対する鋭く明確なNFL定理は、i.i.d. な関数値が同じ軌道確率を意味するという新しい一般NFL定理の特殊ケースである。
• NFL条件下では最適解を見つけるために必要な評価回数の平均は計算可能であるが、このような条件は実際にはまれである。
• 実用的に関連する問題クラスは、置換に関して閉じている可能性が低く、したがってNFL結果は大多数の現実世界の最適化シナリオに適用できない。