[논문 리뷰] Efficient Evolutionary Algorithm for Single-Objective Bilevel Optimization

Ankur Sinha, Pekka Malo외 1명|arXiv (Cornell University)|2013. 03. 15.

Optimization and Variational Analysis참고 문헌 48인용 수 70

한 줄 요약

이 논문은 하위 수준 최적 해의 정확도를 상위 수준 변수에 대해 이차 근사화함으로써 기능 평가 횟수를 크게 줄이는 새로운 이중수준 유전적 알고리즘인 BLEAQ를 제안한다. 고전적 최적화 통찰을 유전적 프레임워크에 통합함으로써 BLEAQ는 높은 효율성을 달성하여 기준 문제에서 이중 수준 유전적 접근보다 하위 수준 기능 평가 횟수를 최대 10.88배 감소시켰다.

ABSTRACT

Bilevel optimization problems are a class of challenging optimization problems, which contain two levels of optimization tasks. In these problems, the optimal solutions to the lower level problem become possible feasible candidates to the upper level problem. Such a requirement makes the optimization problem difficult to solve, and has kept the researchers busy towards devising methodologies, which can efficiently handle the problem. Despite the efforts, there hardly exists any effective methodology, which is capable of handling a complex bilevel problem. In this paper, we introduce bilevel evolutionary algorithm based on quadratic approximations (BLEAQ) of optimal lower level variables with respect to the upper level variables. The approach is capable of handling bilevel problems with different kinds of complexities in relatively smaller number of function evaluations. Ideas from classical optimization have been hybridized with evolutionary methods to generate an efficient optimization algorithm for generic bilevel problems. The efficacy of the algorithm has been shown on two sets of test problems. The first set is a recently proposed SMD test set, which contains problems with controllable complexities, and the second set contains standard test problems collected from the literature. The proposed method has been evaluated against two benchmarks, and the performance gain is observed to be significant.

연구 동기 및 목표

• 기존 유전적 알고리즘을 사용한 복잡한 이중 최적화 문제 해결 시 높은 계산 비용을 해결하기 위해.
• 비볼록, 비선형 또는 미분 가능하지 않은 이중 문제에서 실패하는 고전적 방법의 한계를 극복하기 위해.
• 유전적 탐색과 분석적 근사화를 융합한 하이브리드 접근법을 개발하여 수렴 속도를 가속화하기 위해.
• 제어 가능한 복잡성과 실제 응용 가능성을 갖춘 이중 문제에 대한 효율적이고 확장 가능한 해결책을 제공하기 위해.
• 이중 최적점에서 상위 수준 변수에서 하위 수준 최적 해로의 매핑을 정확하게 근사화할 수 있도록 하기 위해.

제안 방법

• 샘플링된 데이터 포인트를 사용하여 상위 수준 변수에 대한 하위 수준 최적 해의 이차 근사 모델을 구축한다.
• 이 근사 모델을 사용하여 각 반복에서 하위 수준 문제를 다시 풀지 않고도 하위 수준 최적 해를 예측한다.
• 유전적 알고리즘 프레임워크에 이차 근사 모델을 통합하여 상위 수준 공간에서의 탐색을 이끌어낸다.
• 유망한 상위 수준 해에서 새로운 샘플 포인트를 사용하여 이차 모델을 반복적으로 업데이트한다.
• 정확한 해법에 대한 의존도를 줄이기 위해, 서피스 모델에 의존하여 하위 수준 기능 평가 횟수를 제한한다.
• 유전적 탐색(탐색)과 이차 모델 예측(이점 활용)의 균형을 유지함으로써 수렴성을 유지한다.

실험 결과

연구 질문

• RQ1 하위 수준 최적 해 매핑에 대한 이차 근사화가 이중 최적화 문제에서 하위 수준 기능 평가 횟수를 크게 줄일 수 있는가?
• RQ2 BLEAQ 알고리즘이 이중 유전적 전략과 WJL, WLD와 같은 기존 기준 대비 효율성과 정확도에서 어떻게 비교되는가?
• RQ3 고전적 근사화와 유전적 계산의 하이브리드 접근법이 복잡한 비볼록 이중 문제를 얼마나 잘 다룰 수 있는가?
• RQ4 이차 근사 모델이 이중 최적점 근처에서 진짜 최적 매핑을 정확하게 유지하는가?
• RQ5 제어 가능한 복잡성으로 고차원 이중 최적화 문제에 대해 제안된 방법이 효과적으로 확장 가능한가?

주요 결과

• BLEAQ는 테스트 문제 TP1에서 이중 유전적 접근 대비 평균 하위 수준 기능 평가 횟수를 최대 10.88배 감소시켰다.
• 10개 변수를 가진 SMD 테스트 세트에서 BLEAQ는 기준 방법보다 훨씬 적은 기능 평가 횟수로 수렴하여 확장성을 입증했다.
• 테스트 문제 TP7에서 BLEAQ는 평균 하위 수준 기능 평가 횟수 272,971회를 기록했고, WJL 방법은 1,074,742회를 기록하여 3.94배의 개선을 달성했다.
• TP10에서 기능 평가 횟수 대비 호출 수의 중앙값 비율은 69.08로, 모델이 중복된 하위 수준 해법을 효과적으로 줄였음을 시사한다.
• 대부분의 문제에서 상위 수준 정확도 값이 0.0001 이하로 유지되어 상위 및 하위 수준 해 품질이 높은 정확도를 유지했다.
• 이차 근사 모델은 정확한 하위 수준 최적 해를 예측함으로써 빠른 수렴을 가능하게 하였고, 반복적인 정확한 해법의 필요성을 줄였다.