[논문 리뷰] Bilevel Optimization based on Iterative Approximation of Multiple Mappings

Ankur Sinha, Zhichao Lu외 2명|arXiv (Cornell University)|2017. 02. 11.

Optimization and Variational Analysis인용 수 9

한 줄 요약

이 논문은 하위 수준의 합리적 반응(Ψ-매핑)과 최적 값(φ-매핑) 함수를 반복적으로 근사함으로써 계산 비용을 줄이는 진화적 이중수준 최적화 알고리즘인 BLEAQ-II를 제안한다. 이중 평가를 반복적으로 수행하는 대신 이러한 근사치를 적응적으로 활용함으로써, 전통적인 이중 평가 방법에 비해 기능 평가 횟수를 최대 97% 감소시켜 벤치마크 문제에서 효율성 향상을 크게 달성한다.

ABSTRACT

A large number of application problems involve two levels of optimization, where one optimization task is nested inside the other. These problems are known as bilevel optimization problems and have been studied by both classical optimization community and evolutionary optimization community. Most of the solution procedures proposed until now are either computationally very expensive or applicable to only small classes of bilevel optimization problems adhering to mathematically simplifying assumptions. In this paper, we propose an evolutionary optimization method that tries to reduce the computational expense by iteratively approximating two important mappings in bilevel optimization; namely, the lower level rational reaction mapping and the lower level optimal value function mapping. The algorithm has been tested on a large number of test problems and comparisons have been performed with other algorithms. The results show the performance gain to be quite significant. To the best knowledge of the authors, a combined theory-based and population-based solution procedure utilizing mappings has not been suggested yet for bilevel problems.

연구 동기 및 목표

• 기존의 이중 평가 기반 진화적 알고리즘을 사용할 때 발생하는 높은 계산 비용을 해결하기 위해.
• 수학 최적화 이론에서 유도된 이론적 매핑을 활용하여 계산 비용이 적은 대안을 개발하기 위해.
• 하위 수준의 반응 함수와 최적 값 함수를 근사화하여 높은 비용이 드는 이중 평가에 의존도를 줄이기 위해.
• 최적화 과정에서 문제의 특성에 따라 Ψ 또는 φ 매핑 근사치를 적응적으로 선택하기 위해.
• 확장된 SMD 문제를 포함한 포괄적인 테스트 세트를 통해 성능을 평가하여 확장성과 효율성의 증명을 위해.

제안 방법

• 알고리즘은 상위 수준의 결정에 대응하는 하위 수준 최적 해를 산출하는 하위 수준의 합리적 반응 매핑(Ψ-매핑)을 근사한다.
• 또한 상위 수준의 결정에 대응하는 하위 수준 문제의 최적 목적 함수 값을 산출하는 하위 수준 최적 값 함수 매핑(φ-매핑)을 근사한다.
• 지역화된 메타모델링 기법을 사용하여 인구 기반의 진화적 프레임워크를 통해 Ψ 및 φ 매핑을 반복적으로 개선한다.
• 해당 이중수준 문제의 난이도와 구조에 따라 Ψ 또는 φ 근사치 사용을 적응적으로 선택한다.
• 반복적인 하위 수준 해결을 예측 가능한 훈련된 매핑으로 대체함으로써 기능 평가 횟수를 최소화한다.
• 확장된 SMD 문제를 포함한 SMD 문제 벤치마크 세트를 통해 방법의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 Ψ 및 φ 매핑의 반복적 근사화가 이중수준 최적화의 계산 부담을 상당히 줄일 수 있는가?
• RQ2 Ψ 또는 φ 근사치 간의 적응적 선택 전략이 다양한 이중수준 문제 유형에서 성능 향상에 어떻게 기여하는가?
• RQ3 기능 평가 횟수 측면에서 매핑 기반 근사화가 기존의 이중 평가 기반 진화적 알고리즘보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 문제의 차원 수와 복잡도가 증가함에 따라 제안된 근사치는 어떻게 확장되는가?
• RQ5 매핑 근사치의 정확도가 수렴성과 해의 정확도에 어떤 영향을 미치는가?

주요 결과

• 고차원 SMD 문제에서 BLEAQ-II는 이중 방법 대비 최대 97%의 기능 평가 횟수 감소를 달성했다.
• SMD1에서 BLEAQ-II는 상위 수준 기능 평가 횟수를 670회로 줄였으며, 이는 이중 방법의 1,776,426회에 비해 상당한 감소였다.
• SMD4에서 BLEAQ-II는 이중 방법 대비 96%의 기능 평가 횟수 절감을 달성했다.
• SMD6에서는 이중 방법이 150만 건 이상의 기능 평가를 요구했지만, BLEAQ-II는 단 3,950회로 99%의 절감을 이룩했다.
• 대부분의 테스트 문제에서 BLEAQ-II는 BLEAQ 및 이중 방법을 모두 압도하며 계산 효율성 향상이著명했다.
• Ψ 또는 φ 근사치의 적응적 사용 전략은 효과적이었으며, SMD1에서는 φ-매핑이 더 정확했고, SMD13처럼 복잡한 φ-매핑 문제에서는 Ψ-매핑이 더 우수한 성능을 보였다.