[논문 리뷰] On Classes of Functions for which No Free Lunch Results Hold

Christian Igel, Marc Toussaint|ArXiv.org|2001. 08. 21.

Advanced Algebra and Logic참고 문헌 4인용 수 6

한 줄 요약

이 논문은 No Free Lunch (NFL) 정리—모든 알고리즘 간 평균 성능가 같다는 주장—가 검색 공간의 순열에 대해 닫혀 있는 함수 클래스에서만 성립함을 보여준다. 저자들은 이러한 클래스가 매우 드물며, 검색 공간 크기와 함께 지수적으로 감소함을 증명하고, 실질적으로 관련된 문제들은 순열에 대해 닫혀 있지 않다는 점을 주장함으로써, NFL 정리는 실제 최적화에 적용되지 않는다는 결론을 이끌어낸다.

ABSTRACT

In a recent paper it was shown that No Free Lunch results hold for any subset F of the set of all possible functions from a finite set X to a finite set Y iff F is closed under permutation of X. In this article, we prove that the number of those subsets can be neglected compared to the overall number of possible subsets. Further, we present some arguments why problem classes relevant in practice are not likely to be closed under permutation.

연구 동기 및 목표

• 목적 함수의 부분집합에 대해 No Free Lunch (NFL) 정리가 성립하는 조건을 규명하는 것.
• NFL 정리가 성립하기 위해 필수적이고도 충분한 조건인 순열에 대해 닫혀 있는 함수 부분집합의 비율을 정량화하는 것.
• 실제 최적화 문제들이 순열에 대해 닫혀 있을 가능성이 낮다는 점을 주장함으로써, NFL 정리가 실용적 알고리즘 성능을 제약하지 않는다는 점을 설명하는 것.
• NFL 결과가 대부분의 실용적 함수 클래스에 대해 무의미하다는 이론적 근거를 제공하는 것.

제안 방법

• 함수 클래스 F가 입력 공간 X의 순열 π에 대해 닫혀 있음(c.u.p.)이라 함은, F에 속한 모든 함수 f에 대해 f∘π도 여전히 F에 속한다는 것을 의미한다.
• 함수의 출력 값 빈도 분포를 기반으로 분류: 동일한 출력 값 빈도 분포를 가진 함수들은 기저 클래스를 이룬다.
• 순열에 대해 닫혀 있는 부분집합의 수는 이러한 기저 클래스들의 비어 있지 않은 모든 합집합의 수와 같으며, 이는 2^(binomial(|X|+|Y|-1, |X|)) - 1과 같다.
• 모든 가능한 비어 있지 않은 F = Y^X 부분집합에 비해 순열에 대해 닫혀 있는 부분집합의 비율을 계산하여, |X|와 |Y|가 증가함에 따라 지수적으로 감소함을 보임.
• 실제 문제들은 종종 구조화된 검색 공간과 제약 조건(예: 국소 최소값, OBDD 복잡도 제한)을 포함하므로 순열 닫힘 성질이 깨진다는 점을 주장함.
• 함수의 순열에 대한 궤도 구조를 이용해, 순열에 대해 닫혀 있는 부분집합은 기저 클래스의 전체 합집합이어야 하며, 부분 집합은 될 수 없다는 점을 증명함.

실험 결과

연구 질문

• RQ1 어떤 목적 함수 클래스에서 No Free Lunch 정리가 성립하는가?
• RQ2 모든 가능한 함수 부분집합 중 순열에 대해 닫혀 있는(=c.u.p.) 부분집합의 비율은 얼마인가?
• RQ3 실제 최적화 문제들은 일반적으로 검색 공간의 순열에 대해 닫혀 있는가?
• RQ4 실제 문제에서의 구조적 제약 조건이 NFL 결과의 적용을 방지할 수 있는가?
• RQ5 검색 공간과 공역의 크기가 증가함에 따라 c.u.p. 함수 클래스의 흔함은 어떻게 변화하는가?

주요 결과

• 순열에 대해 닫혀 있는 비어 있지 않은 함수 부분집합의 수는 2^(binomial(|X|+|Y|-1, |X|)) - 1이다.
• 모든 비어 있지 않은 F = Y^X 부분집합 중 순열에 대해 닫혀 있는 부분집합의 비율은 지수적으로 작으며, 예를 들어 |X|=3, |Y|=2일 경우 10^(-170) 이하이다.
• |X| 또는 |Y|가 증가함에 따라 순열에 대해 닫혀 있는 부분집합의 비율은 급격히 0에 수렴한다.
• 구조화된 검색 공간과 제약 조건(예: 국소 최소값의 수 제한, OBDD 복잡도 제한 등)을 포함하는 실제 문제들은 순열에 대해 닫혀 있을 가능성이 낮다.
• NFL 정리는 오직 순열에 대해 닫혀 있는 클래스에서만 성립하므로, 이러한 클래스의 수가 극히 적고 실생활에서도 흔하지 않기 때문에, NFL 정리는 실제 설정에서 알고리즘 성능을 제약하지 않는다.
• 결과적으로 알고리즘 선택이 실용적으로 의미 있는 이유는, 모든 함수에 대해 성능 차이가 평균화되지 않기 때문이다.