[논문 리뷰] Time Efficiency in Optimization with a Bayesian-Evolutionary Algorithm

Gongjin Lan, Jakub M. Tomczak외 2명|arXiv (Cornell University)|2020. 05. 04.

Advanced Multi-Objective Optimization Algorithms참고 문헌 23인용 수 11

한 줄 요약

이 논문은 초기에 데이터 효율적인 탐색을 위해 베이지안 최적화(Bayesian Optimization, BO)를 사용한 후 BO의 계산 비용이 너무 증가할 경우 이를 보완하기 위해 진화 알고리즘(Evolutionary Algorithm, EA)으로 전환하는 하이브리드 베이지안-진화 알고리즘인 BEA를 제안한다. BEA는 군집화된 초기 개체집단과 자기적응형 가우시안 변이를 통해 지식을 전이함으로써, 벤치마크 함수와 로봇 제어 과제에서 시간 효율성과 최종 목표 함수 값 측면에서 BO와 EA를 모두 능가한다.

ABSTRACT

Not all generate-and-test search algorithms are created equal. Bayesian Optimization (BO) invests a lot of computation time to generate the candidate solution that best balances the predicted value and the uncertainty given all previous data, taking increasingly more time as the number of evaluations performed grows. Evolutionary Algorithms (EA) on the other hand rely on search heuristics that typically do not depend on all previous data and can be done in constant time. Both the BO and EA community typically assess their performance as a function of the number of evaluations. However, this is unfair once we start to compare the efficiency of these classes of algorithms, as the overhead times to generate candidate solutions are significantly different. We suggest to measure the efficiency of generate-and-test search algorithms as the expected gain in the objective value per unit of computation time spent. We observe that the preference of an algorithm to be used can change after a number of function evaluations. We therefore propose a new algorithm, a combination of Bayesian optimization and an Evolutionary Algorithm, BEA for short, that starts with BO, then transfers knowledge to an EA, and subsequently runs the EA. We compare the BEA with BO and the EA. The results show that BEA outperforms both BO and the EA in terms of time efficiency, and ultimately leads to better performance on well-known benchmark objective functions with many local optima. Moreover, we test the three algorithms on nine test cases of robot learning problems and here again we find that BEA outperforms the other algorithms.

연구 동기 및 목표

• 기존 최적화 비교가 기능 평가 수에만 의존하여 계산 시간의 격차를 忽시하는 한계를 해결하기 위해.
• 계산 시간 단위당 목표 함수 값의 기대 증가량으로서의 시간 효율성에 대한 공식적 측도를 제안하기 위해.
• 초기에는 BO의 데이터 효율성을 활용하고 후기에는 EA의 시간 효율성을 활용하는 하이브리드 알고리즘을 개발하여 전반적인 성능 향상에 기여하기 위해.
• BO에서 EA로의 지식 전이 방법을 효과적으로 탐색하여 전환 과정에서 해 품질을 유지하기 위해.
• 제안된 BEA 알고리즘을 인위적 벤치마크 함수와 실제 로봇 제어 문제 모두에 대해 검증하기 위해.

제안 방법

• 계산 시간 단위당 목표 함수 값의 기대 증가량으로서의 시간 효율성을 정의한다.
• BO의 시간 효율성이 EA의 시간 효율성 이하로 떨어질 경우, 실증적 관찰에 기반해 계산 비용 증가 추세를 고려해 BO에서 EA로 전환하는 전략을 제안한다.
• BO가 생성한 해들 중 상위 50%를 군집화하고, 각 군집에서 가장 우수한 개체를 선별하여 EA의 초기 개체집단에 포함시킴으로써 BO에서 EA로의 지식 전이를 수행한다.
• EA에 자기적응형 가우시안 변이 전략을 구현하여, 측정된 시간 효율성(초당 기대 증가량)에 따라 변이 단계 크기를 조정한다.
• 초기 실험 결과를 바탕으로 BO에서 EA로의 전환 지점으로서 250~300개의 기능 평가를 권장한다.
• BO와 EA를 두 단계 최적화 과정으로 통합한다: 1단계에서는 전환 지점까지 BO를 사용하고, 2단계에서는 지식 전이된 EA에 자가적응형 변이를 적용하여 실행한다.

실험 결과

연구 질문

• RQ1 시간이 지남에 따라, 계산 시간 단위당 기대 증가량으로 정의되는 시간 효율성 측면에서 베이지안 최적화와 진화 알고리즘 간의 성능 비교는 어떻게 되는가?
• RQ2 베이지안 최적화의 시간 효율성이 진화 알고리즘의 시간 효율성 이하로 떨어지는 시점은 언제이며, 이때 전환이 유리한가?
• RQ3 베이지안 최적화에서 진화 알고리즘으로의 지식 전이에 있어 가장 효과적인 방법은 무엇인가?
• RQ4 BO와 EA를 융합한 하이브리드 알고리즘이 다수의 국소 최적해를 가진 문제에서 단독으로 사용된 BO나 EA보다 더 뛰어난 시간 효율성과 최종 목표 함수 성능을 달성할 수 있는가?
• RQ5 제안된 BEA 알고리즘이 실제 로봇 제어 과제에서 시뮬레이션과 실제 물리적 로봇 모두에서 BO와 EA를 능가하는가?

주요 결과

• 다수의 국소 최적해를 가진 벤치마크 함수에서 BEA는 시간 효율성 측면에서 BO와 EA를 모두 능가하며, 더 적은 계산 시간으로 더 높은 목표 함수 값을 달성한다.
• 로봇 제어 과제에서는 BEA가 BO와 EA보다 높은 적합도를 달성한 컨트롤러를 학습하였으며, 실제 테스트에서 BEA/BO 적합도 비율이 최대 168.2%에 이를 정도로 뛰어난 성능을 보였다.
• 방향 주행 과제에서는 BEA로 학습한 컨트롤러를 사용한 로봇이 1.72미터를 주행하여 BO 컨트롤러보다 현저히 더 멀리 이동함으로써 우수한 행동 성능을 입증하였다.
• 회전 과제에서는 BEA로 학습한 컨트롤러가 중심에서 10cm 이내의 이격 거리 유지하면서 2라디안 이상을 회전시켜 BO 컨트롤러를 능가하는 성능을 보였다.
• 물리적 로봇에서의 9개 테스트 케이스 전반에서 BEA로 학습한 컨트롤러는 BO로 학습한 컨트롤러를 일관되게 능가하였으며, 이는 시뮬레이션 결과의 실세계 적용 가능성을 검증한 것이다.
• BO에서 EA로의 최적 전환 지점은 실증적으로 약 250~300개의 기능 평가로 결정되었으며, 이는 초기 데이터 효율성과 후기 시간 효율성 사이의 균형을 잘 맞춘 것이다.