[논문 리뷰] Recent Results on No-Free-Lunch Theorems for Optimization

Christian Igel, Marc Toussaint|ArXiv.org|2003. 03. 31.

Metaheuristic Optimization Algorithms Research참고 문헌 10인용 수 13

한 줄 요약

이 논문은 최적화의 No-Free-Lunch (NFL) 정리를 임의의 비균일한 목표 함수 분포로 확장하여, NFL 결과가 성립하기 위한 필수 및 필요조건을 규명한다. 연구는 알고리즘이 상호 등가가 되는 조건이, 순열에 의해 같은 궤도를 이룰 함수들 간에 동일한 사전 확률를 가져야 함을 증명하며, 현실적인 비균일 분포 하에서는 NFL 결과가 매우 불가능하다고 보여준다.

ABSTRACT

The sharpened No-Free-Lunch-theorem (NFL-theorem) states that the performance of all optimization algorithms averaged over any finite set F of functions is equal if and only if F is closed under permutation (c.u.p.) and each target function in F is equally likely. In this paper, we first summarize some consequences of this theorem, which have been proven recently: The average number of evaluations needed to find a desirable (e.g., optimal) solution can be calculated; the number of subsets c.u.p. can be neglected compared to the overall number of possible subsets; and problem classes relevant in practice are not likely to be c.u.p. Second, as the main result, the NFL-theorem is extended. Necessary and sufficient conditions for NFL-results to hold are given for arbitrary, non-uniform distributions of target functions. This yields the most general NFL-theorem for optimization presented so far.

연구 동기 및 목표

• 기존 최적화를 위한 NFL 정리에서 균일 분포 가정의 한계를 해결하기 위해.
• 실제 문제 클래스가 순열에 대해 닫혀 있는지(즉, c.u.p.)할 가능성을 평가하기 위해.
• 임의의 비균일 목표 함수 분포 하에서 NFL 정리가 성립하기 위한 필요 및 충분조건을 도출하기 위해.
• NFL 조건 하에서 유망한 해를 찾기 위해 필요한 평균 평가 횟수를 분석하기 위해.
• 실제 세계의 제약 조건이 NFL 조건을 충족하는 함수 클래스를 이끌어내는지 평가하기 위해.

제안 방법

• 유한한 탐색 공간 $\mathcal{X}$, 유한한 비용 값 집합 $\mathcal{Y}$, 목표 함수 $f: \mathcal{X} \to \mathcal{Y}$ 를 사용하여 최적화 시나리오를 수학적으로 정의한다.
• 순열군 $\Pi(\mathcal{X})$ 하에서의 궤도 $B_h$ 개념을 도입하여, 상호 순열로 변환 가능한 함수들을 그룹화한다.
• 비용 값의 순서를 실수로 매핑하는 성능 측도 $c$ 를 정의하여 알고리즘 성능 평가에 사용한다.
• NFL 등가성은 두 알고리즘 $a$ 와 $b$ 가 동일한 궤도 $B_h$ 에 속한 모든 함수 $f,g \in B_h$ 에 대해 동일한 사전 확률 $p(f) = p(g)$ 를 가져야만 성립함을 증명한다.
• 성능 분포를 함수 및 알고리즘 간 비교하기 위해 크로네커 델타 $\delta(k, c(Y(f,m,a)))$ 를 사용한다.
• 모순을 통한 필요성 및 충분성 증명: 만약 동일한 궤도에 속한 $f,g$ 에 대해 $p(f) \neq p(g)$ 이면, 어떤 $c$, $k$, $a$, $b$ 에 대해서도 NFL 등가성은 성립하지 않는다.

실험 결과

연구 질문

• RQ1 비균일한 목표 함수 분포에 대해 평균적으로 모든 최적화 알고리즘이 동일한 평균 성능을 가지는 조건은 무엇인가?
• RQ2 임의로 선택된 함수 부분집합이 순열에 대해 닫혀 있는 경우(즉, c.u.p.)의 가능성은 얼마나 되는가? 이는 NFL 정리에 필수 조건이다.
• RQ3 실제 최적화 문제에서의 실용적 제약 조건이 c.u.p. 또는 NFL 조건을 충족하는 함수 클래스를 이끌어내는가?
• RQ4 NFL 조건 하에서 유망한 해를 찾기 위해 필요한 평균 함수 평가 횟수는 얼마인가?
• RQ5 NFL 정리는 균일 분포를 초월해 임의의 비균일 사전 확률을 가진 목표 함수에 대해 일반화될 수 있는가?

주요 결과

• 임의의 분포 하에서 NFL 결과가 성립하기 위한 필수 및 충분조건은 순열에 의해 같은 궤도를 이루는 모든 함수들이 동일한 사전 확률를 가져야 한다는 것이다.
• 동일한 궤도에 속한 함수들이 사전 확률가 다를 경우, 즉 사용자가 서로 순열로 변환 가능하더라도 NFL 등가성은 성립하지 않는다.
• 일반적인 비균일 케이스 하에서, 무작위로 선택된 함수 분포가 NFL 조건을 충족할 확률은 0이다.
• 균일 분포에 대한 날카운 NFL 정리는 새로운 일반 NFL 정리의 특수한 경우이며, 이 경우 i.i.d. 함수 값은 동일한 궤도 확률를 암시한다.
• NFL 조건 하에서는 최적 해를 찾기 위해 필요한 평균 평가 횟수를 계산할 수 있지만, 이러한 조건은 실생활에서 흔하지 않다.
• 실제로 적용 가능한 문제 클래스는 순열에 대해 닫혀 있을 가능성이 매우 낮아, 대부분의 실세계 최적화 시나리오에서는 NFL 결과가 적용되지 않는다.