[論文レビュー] On Classes of Functions for which No Free Lunch Results Hold

Christian Igel, Marc Toussaint|ArXiv.org|Aug 21, 2001

Advanced Algebra and Logic参考文献 4被引用数 6

ひとこと要約

この論文は、すべてのアルゴリズムの平均性能が同等であると主張するNo Free Lunch (NFL)定理が、探索空間の置換に関して閉じた関数クラスに対してのみ成立することを示している。著者らは、このようなクラスが極めてまれであり、探索空間のサイズとともに指数関数的に減少することを証明し、実用的に関連する問題は置換に関して閉じていない可能性が高く、したがってNFL定理は現実の最適化に適用されないということを主張している。

ABSTRACT

In a recent paper it was shown that No Free Lunch results hold for any subset F of the set of all possible functions from a finite set X to a finite set Y iff F is closed under permutation of X. In this article, we prove that the number of those subsets can be neglected compared to the overall number of possible subsets. Further, we present some arguments why problem classes relevant in practice are not likely to be closed under permutation.

研究の動機と目的

• 目的関数の部分集合に対して、No Free Lunch (NFL)定理がどのような条件下で成立するかを特定すること。
• NFL定理が成立するための必要十分条件である、置換に関して閉じた関数部分集合（c.u.p.）の割合を定量化すること。
• 現実の最適化問題が置換に関して閉じている可能性が低いこと、したがってNFL定理は実用的なアルゴリズム性能を制約しないということを主張すること。
• NFL結果が大多数の実用的関数クラスに対して無関係である理論的根拠を提供すること。

提案手法

• 関数クラス F が入力空間 X の置換に関して閉じている（c.u.p.）とは、任意の f ∈ F と任意の置換 π に対して、合成関数 f∘π も F に属することを意味する。
• 関数の出力値の周波数分布に基づくヒストグラム分類：同じ出力値の周波数分布を持つ関数は、基本クラスを形成する。
• c.u.p.部分集合の数が、これらの基本クラスの空でない和集合の数に等しく、その数は 2^(binomial(|X|+|Y|-1, |X|)) - 1 に等しいことを証明する。
• F = Y^X のすべての空でない部分集合に対するc.u.p.部分集合の割合を計算し、|X| および |Y| と共に指数関数的に減少することを示す。
• 現実の問題では、構造的探索空間や制約（例：局所的最小値、OBDDの複雑さ）が存在するため、置換閉包が破られることがあると主張する。
• 関数の置換下での軌道構造を用いて、c.u.p.部分集合は部分的ではなく、完全な基本クラスの和集合でなければならないことを示す。

実験結果

リサーチクエスチョン

• RQ1 どの目的関数クラスに対してNo Free Lunch定理が成立するか？
• RQ2 すべての可能な関数部分集合のうち、置換に関して閉じた（c.u.p.）ものの割合はどの程度か？
• RQ3 現実の最適化問題は一般的に探索空間の置換に関して閉じているか？
• RQ4 実用的問題に現れる構造的制約は、NFL結果の適用を防ぐことができるか？
• RQ5 探索空間および被写像のサイズが、c.u.p.関数クラスの出現頻度にどのように影響するか？

主な発見

• 置換に関して閉じた関数の空でない部分集合の数は 2^(binomial(|X|+|Y|-1, |X|)) - 1 に等しい。
• F = Y^X のすべての空でない部分集合に対するc.u.p.部分集合の割合は指数関数的に小さく、例えば |X|=3、|Y|=2 の場合、10^(-170) 未満である。
• |X| や |Y| が増加するにつれて、c.u.p.部分集合の割合は急速にゼロに近づく。
• 構造的探索空間や制約（例：局所的最小値の上限、OBDDの複雑さの制限）を含む現実の問題は、置換に関して閉じている可能性が低い。
• NFL定理はc.u.p.クラスでのみ成立するが、このようなクラスは数が極めて少なく、実用的にもまれであるため、NFL定理は現実の最適化設定ではアルゴリズム性能を制約しない。
• この結果は、性能の差がすべての関数に対して平均化されないため、実用的にはアルゴリズム選択が意味を持つことを示唆している。