[논문 리뷰] Efficiency Enhancement of Probabilistic Model Building Genetic Algorithms

Kumara Sastry, David E. Goldberg외 1명|ArXiv.org|2004. 05. 18.

Metaheuristic Optimization Algorithms Research참고 문헌 18인용 수 11

한 줄 요약

이 논문은 확률적 모델 빌딩 유전 알고리즘(PMBGAs)의 효율성을 향상시키는 두 가지 기법을 제안한다: (1) 확률적 모델이 식별한 빌딩블록 이웃 영역에서 국소 탐색을 수행하는 확장 가능한 변이 연산자로, 가산 분리 문제에 대해 함수 평가 수를 O(√(k log m)) 감소시킨다; (2) 후손의 적합도를 추정하는 내부 확률적 적합도 모델로, 실제 평가 수를 1–10%로 줄여 2–50배의 속도 향상을 달성한다. 두 기법 모두 해의 품질을 유지하면서 수렴 속도를 크게 향상시킨다.

ABSTRACT

This paper presents two different efficiency-enhancement techniques for probabilistic model building genetic algorithms. The first technique proposes the use of a mutation operator which performs local search in the sub-solution neighborhood identified through the probabilistic model. The second technique proposes building and using an internal probabilistic model of the fitness along with the probabilistic model of variable interactions. The fitness values of some offspring are estimated using the probabilistic model, thereby avoiding computationally expensive function evaluations. The scalability of the aforementioned techniques are analyzed using facetwise models for convergence time and population sizing. The speed-up obtained by each of the methods is predicted and verified with empirical results. The results show that for additively separable problems the competent mutation operator requires O(k 0.5 logm)--where k is the building-block size, and m is the number of building blocks--less function evaluations than its selectorecombinative counterpart. The results also show that the use of an internal probabilistic fitness model reduces the required number of function evaluations to as low as 1-10% and yields a speed-up of 2--50.

연구 동기 및 목표

• 대규모 확률적 모델 빌딩 유전 알고리즘(PMBGAs)에서 적합도 평가의 계산 비용을 해결하기 위해, 특히 평가가 비용이 많이 들 때를 대비하여.
• 해결 품질을 희생시키지 않은 채 비용이 많이 드는 적합도 함수 평가 횟수를 줄여 능력 있는 유전 알고리즘의 효율성을 향상시키기 위해.
• 수렴 속도와 PMBGAs의 실용적 적용 가능성을 향상시키는 확장 가능하고 이론에 기반한 효율성 기법을 개발하기 위해.
• 두 가지 다른 효율성 향상 기법인 BB 기반 변이와 적합도 모델 기반 평가 완화의 확장성과 속도 향상을 분석하고 검증하기 위해.

제안 방법

• 변량 상호작용의 확률적 모델이 정의한 부분해의 이웃 영역 내에서 국소 탐색을 수행하는 변이 연산자를 제안하여, 빌딩블록(BB) 이웃 영역의 타겟팅 탐색을 가능하게 한다.
• 빌딩블록 크기(k)와 빌딩블록 수(m)에 기반해 수렴 시간과 개체군 크기 예측을 도출하기 위해, 면별 모델(facetwise model)을 사용하여 변이 연산자의 확장성 분석을 수행한다.
• 역사적 적합도 데이터를 기반으로 훈련된 내부 확률적 적합도 모델을 도입하여 후손의 적합도를 추정함으로써, 일부 개체에 대한 비용이 많이 드는 함수 평가를 대체한다.
• 모델 선택에서 모델 복잡도와 데이터 적합도의 균형을 이루기 위해 최소 기술 길이(MDL) 기준을 사용하여 정확하고 효율적인 모델 표현을 보장한다.
• 1–10%의 개체군에 대해 적합도 모델을 적용하여 실제 평가가 필요한 수를 크게 줄인다.
• 두 기법을 조합하여 상호 보완적인 효과를 얻어, 상호 영향이 거의 없기 때문에 곱셈적 속도 향상이 가능하다.

실험 결과

연구 질문

• RQ1 확률적 모델이 식별한 빌딩블록 이웃 영역 내에서 확장 가능한 국소 탐색을 수행할 수 있는 변이 연산자를 어떻게 설계할 수 있으며, 그 이론적 수렴 행동은 어떠한가?
• RQ2 제안된 변이 연산자가 가산 분리 문제에서 기존의 선택-재조합 기반 PMBGAs에 비해 이론적 및 실증적으로 얼마나 빠른가?
• RQ3 내부 확률적 적합도 모델을 통해 PMBGAs에서 실제 적합도 함수 평가 횟수를 얼마나 줄일 수 있으며, 그로 인한 속도 향상은 어떠한가?
• RQ4 적합도 모델 기반 평가 완화의 성능은 평가 대상 개체 수와 추정 대상 개체 수의 비율에 따라 어떻게 달라지는가?
• RQ5 BB 기반 변이와 적합도 모델 추정이라는 두 가지 효율성 기법을 효과적으로 조합할 수 있으며, 그 조합에 따른 기대되는 병합 속도 향상은 어떠한가?

주요 결과

• BB 기반 변이 연산자는 가산 분리 문제에서 기존의 선택-재조합 기반 PMBGAs 대비 함수 평가 횟수를 O(√(k log m)) 감소시키며, 여기서 k는 빌딩블록 크기, m은 빌딩블록 수이다.
• 변이 연산자의 수렴 시간은 O(2km1.5)로 표현되며, 다수의 겹치지 않는 빌딩블록을 포함한 문제에서 더 나은 확장성을 보여준다.
• 내부 확률적 적합도 모델은 실제 적합도 평가 횟수를 전체 개체군의 1–10%로 줄여 기존 PMBGAs 대비 2–50배의 속도 향상을 달성한다.
• 적합도 모델 기반 평가 완화는 적합도가 독립된 부분해 기여의 합으로 구성되는 가산 분리 문제에서 가장 효과적이다.
• BB 기반 변이와 적합도 모델 추정이라는 두 기법은 거의 상호 독립적이므로, 조합 시 곱셈적 속도 향상이 발생하여 전체 알고리즘의 효율성이 크게 향상된다.
• 실증 결과는 이론적 예측을 확인하여, 다양한 테스트 문제에서 두 제안된 방법의 확장성과 성능 향상이 검증되었다.