[논문 리뷰] BOP-Elites, a Bayesian Optimisation Approach to Quality Diversity Search with Black-Box descriptor functions

Paul R. C. Kent, Adam Gaier외 2명|arXiv (Cornell University)|2023. 07. 18.

Machine Learning and Data ClassificationComputer Science인용 수 3

한 줄 요약

BOP-Elites는 비용이 많이 들고 블랙박스인 문제에서 표본 효율성을 높이기 위해 적합도와 행동 기술 특성 둘 다를 가우시안 프로세스로 모델링하는 베이지안 최적화 프레임워크를 제안한다. 이는 고가의 블랙박스 문제에서 높은 표본 효율성을 달성하며, 최첨단 QD 알고리즘을 능가하여 평가 수를 줄이고도 거의 최적에 가까운 성능을 달성한다. 또한 훈련된 서rogate 모델을 활용해 솔루션 아카이브의 '확장'을 가능하게 한다.

ABSTRACT

Quality Diversity (QD) algorithms such as MAP-Elites are a class of optimisation techniques that attempt to find many high performing points that all behave differently according to a user-defined behavioural metric. In this paper we propose the Bayesian Optimisation of Elites (BOP-Elites) algorithm. Designed for problems with expensive black-box fitness and behaviour functions, it is able to return a QD solution-set with excellent final performance already after a relatively small number of samples. BOP-Elites models both fitness and behavioural descriptors with Gaussian Process (GP) surrogate models and uses Bayesian Optimisation (BO) strategies for choosing points to evaluate in order to solve the quality-diversity problem. In addition, BOP-Elites produces high quality surrogate models which can be used after convergence to predict solutions with any behaviour in a continuous range. An empirical comparison shows that BOP-Elites significantly outperforms other state-of-the-art algorithms without the need for problem-specific parameter tuning.

연구 동기 및 목표

• 비용이 많이 들고 블랙박스인 목적 함수와 기술 특성 함수를 갖는 품질-다양성(Quality-Diversity) 문제에 대해 표본 효율적이고 원칙적인 베이지안 최적화 접근법을 개발한다.
• 표현 공간에서의 향상과 다양성의 균형을 고려한 새로운 할당 함수를 제안함으로써, QD 문제에 베이지안 최적화를 확장한다.
• 연속적인 기술 특성 공간 전반에서 솔루션을 예측할 수 있는 고품질의 서rogate 모델을 생성한다.
• 저해상도 아카이브에서 훈련된 서rogate 모델을 활용해 고해상도 아카이브를 예측함으로써 솔루션 아카이브의 '확장'을 가능하게 한다.
• 다양한 QD 벤치마크, 특히 무효 또는 도달 불가 영역이 존재하는 경우에도 뛰어난 성능과 강건성을 입증한다.

제안 방법

• BOP-Elites는 베이지안 최적화 프레임워크 내에서 목적 함수와 m차원 기술 특성 함수를 동시에 모델링하기 위해 가우시안 프로세스(GP) 서rogate 모델을 사용한다.
• 기대 향상(Expected Improvement)에서 유도된 새로운 할당 함수인 EJIE+를 도입하여, 기술 특성 공간의 부분 영역을 최적화하면서 탐색과 이용의 균형을 유지한다.
• 알고리즘은 EJIE+ 할당 함수를 최대화함으로써 새로운 평가 대상 포인트를 순차적으로 선택하여 고성능 및 다양한 영역을 효율적으로 샘플링한다.
• 구조화된 아카이브는 고성능 관측치를 저장하며, 최종 솔루션 세트는 MAP-Elites와 동일한 형식을 유지한다.
• 수렴 후, 훈련된 GP 서rogate 모델을 활용해 고해상도 기술 특성 공간에 대한 예측 지ap을 생성함으로써 솔루션 아카이브의 '확장'을 가능하게 한다.
• 이 방법은 문제에 특화된 하이퍼파rameter 조정 없이도 일반 목적용으로 설계되었으며, 블랙박스 및 화이트박스 기술 특성 함수를 모두 지원한다.

실험 결과

연구 질문

• RQ1 비용이 많이 들고 블랙박스인 목적 함수와 기술 특성 함수를 갖는 품질-다양성 문제에 대해 원칙적인 베이지안 최적화 프레임워크를 효과적으로 적용할 수 있는가?
• RQ2 제안된 EJIE+ 할당 함수는 기존의 QD 및 서rogate 보조 방법과 비교해 표본 효율성과 최종 솔루션 품질 측면에서 어떻게 성능을 내는가?
• RQ3 저해상도 아카이브에서 훈련된 서rogate 모델이 고해상도 기술 특성 공간에서 고품질 솔루션을 예측하는 데 얼마나 효과적으로 활용될 수 있는가?
• RQ4 BOP-Elites는 무효 또는 도달 불가 영역이 존재하는 다양한 문제 유형에서도 강력한 성능을 유지하는가?
• RQ5 BOP-Elites는 MAP-Elites, SAIL, SPHEN과 같은 최첨단 QD 알고리즘과 비교해 수렴 속도와 최종 아카이브 품질 측면에서 어떻게 성능을 내는가?

주요 결과

• BOP-Elites는 모든 테스트 벤치마크에서 SAIL, SPHEN, MAP-Elites를 뛰어넘는 QD 점수를 기록했으며, Mishra의 새 함수와 로봇 암 문제를 포함한다.
• 영역 수의 두 배의 예산을 사용할 경우 BOP-Elites는 거의 최적의 성능을 달성하여 뛀난 수렴성과 표본 효율성을 입증한다.
• Mishra의 새 함수에서 BOP-Elites는 평가 수 3.05e5회로 QD 점수 2.93e6을 달성했으며, 동일한 예산에서 SAIL(1.31e4)과 SPHEN(7.24e4)을 모두 능가했다.
• BOP-Elites가 생성한 서rogate 모델은 효과적인 '확장'을 가능하게 하였으며, 확장 변형 버전의 QD 점수 3.33e6을 통해 고해상도 아카이브에 대한 고품질 예측을 가능하게 하였다.
• EJIE+ 할당 함수가 고성능 부분 영역을 우선시함으로써, 조기 정지나 제한된 예산 조건에서도 더 빠른 수렴과 고성능 영역의 우수한 커버리지가 가능했다.
• 무효 영역이 존재하는 parsec 도메인과 도달 불가 영역이 존재하는 로봇 암 문제와 같은 도전적인 환경에서도 BOP-Elites는 모든 케이스에서 강력한 성능을 유지하였다.