[논문 리뷰] BOP-Elites, a Bayesian Optimisation algorithm for Quality-Diversity search

Paul R. C. Kent, Jürgen Branke|arXiv (Cornell University)|2020. 05. 08.

Advanced Multi-Objective Optimization Algorithms참고 문헌 13인용 수 6

한 줄 요약

이 논문은 목적 함수와 특성 함수를 가우시안 프로세스를 사용해 공동으로 모델링하는 베이지안 최적화 알고리즘인 BOP-Elites를 소개한다. 이 알고리즘은 사전 정의된 행동적 니치 내에서 최고의 해를 효율적으로 식별하는 데 목적이 있다. 기존의 라운드로빈 또는 독립 최적화 기반 방법에 비해 더 빠른 수렴 속도와 높은 샘플 효율성을 달성하며, 평균적으로 13번째 반복에서 거의 최적의 해에 도달한다.

ABSTRACT

Quality Diversity (QD) algorithms such as MAP-Elites are a class of optimisation techniques that attempt to find a set of high-performing points from an objective function while enforcing behavioural diversity of the points over one or more interpretable, user chosen, feature functions. In this paper we propose the Bayesian Optimisation of Elites (BOP-Elites) algorithm that uses techniques from Bayesian Optimisation to explicitly model both quality and diversity with Gaussian Processes. By considering user defined regions of the feature space as 'niches' our task is to find the optimal solution in each niche. We propose a novel acquisition function to intelligently choose new points that provide the highest expected improvement to the ensemble problem of identifying the best solution in every niche. In this way each function evaluation enriches our modelling and provides insight to the whole problem, naturally balancing exploration and exploitation of the search space. The resulting algorithm is very effective in identifying the parts of the search space that belong to a niche in feature space, and finding the optimal solution in each niche. It is also significantly more sample efficient than simpler benchmark approaches. BOP-Elites goes further than existing QD algorithms by quantifying the uncertainty around our predictions and offering additional illumination of the search space through surrogate models.

연구 동기 및 목표

• 해당 문제에서 해가 특성 값에 기반해 사용자가 정의한 니치로 분류되는 최적화 문제에서 고성능이면서 행동적으로 다양한 해를 찾는 데 도전 과제를 해결하기 위해.
• 목적 함수와 특성 함수에 대해 공유된 서rogate 모델을 사용하는 베이지안 최적화를 통해 품질-다양성 탐색의 샘플 효율성을 향상시키기 위해.
• 모든 니치에서 동시에 기대 개선도를 극대화할 수 있도록 지능적으로 새로운 평가를 선택하는 새로운 할당 함수를 개발하기 위해.
• 수렴 속도와 해 품질 측면에서 라운드로빈 할당 및 각 니치의 독립 최적화와 같은 기준 기반 방법을 능가하기 위해.
• 확률적 모델링을 통해 불확실성 정량화 및 탐색 공간의 향상된 탐색을 제공하기 위해.

제안 방법

• 알고리즘은 입력 공간 전역에서 목적 함수와 다중 특성 함수를 함께 모델링하기 위해 가우시안 프로세스(GP) 서rogate 모델을 사용한다.
• 각 니치에 속할 확률을 GP 사후분포를 통해 계산한 할당 함수를 도입하여 기대 개선도와의 조합을 통해 새로운 할당 함수를 제안한다.
• 할당 함수는 니치 엘리트의 앙상블에서 기대 개선도를 극대화하는 다음 평가 지점을 선택하기 위해 최적화된다.
• 각 함수 평가 후 GP 모델을 반복적으로 업데이트하여 전체 탐색 공간에서 예측 및 불확실성 추정치를 정밀화한다.
• 각 니치를 제약 조건이 있는 단일 목표 최적화 문제로 간주하며, 할당 함수는 모든 니치에서 탐색과 이용의 균형을 맞춘다.
• GP 모델의 하이퍼파rameter는 L-BFGS를 사용한 최대우도 추정법을 통해 학습되며, 길이 척도는 [0.001, 2] 범위로 제약된다.

실험 결과

연구 질문

• RQ1 다양한 행동적 니치를 가진 품질-다양성 탐색에서, 베이지안 최적화 프레임워크가 탐색과 이용을 효과적으로 균형 잡을 수 있는가?
• RQ2 니치 속성 확률을 통합한 제안된 할당 함수는 기대 수렴 속도와 해 품질 측면에서 난이도 높은 할당 전략에 비해 어떻게 비교되는가?
• RQ3 각 니치 간 공유된 서rogate 모델링이 독립적 또는 순차적 최적화에 비해 샘플 효율성을 얼마나 향상시키는가?
• RQ4 알고리즘이 불확실성 정량화 기능을 통해 탐색 성능을 향상시키고 탐색 공간의 의미 있는 통찰을 제공하는가?
• RQ5 이 방법은 고차원 특성 및 탐색 공간, 노이즈가 있는 또는 연속적인 도메인으로 일반화 가능한가?

주요 결과

• BOP-Elites는 벤치마크 실험에서 평균적으로 13번째 반복에 거의 최적의 해에 도달했고, 18번째 반복에 진짜 최적 해에 도달했다.
• 해 품질과 수렴 속도 측면에서 BOP-Elites는 라운드로빈 및 독립 최적화 기반 방법을 모두 능가했다.
• 순차적 BOP-Elites 변형은 약 17~20번째 반복에서 성능의 뚜렷한 저하를 보였는데, 이는 이미 최적화된 니치에서 계속 샘플링하기 때문일 가능성이 높다.
• 100회의 반복 중 99회에서는 샘플 예산 내에서 완벽한 해를 달성했으며, 오직 한 번의 실패만 한 니치에서 발생했다.
• 할당 함수가 니치 속성 확률과 기대 개선도를 통합함으로써, 기준 전략에 비해 더 효과적인 탐색과 더 빠른 수렴을 이끌었다.
• 불확실성 정량화 기능을 갖춘 공유 서rogate 모델의 사용은 독립적 또는 순차적 접근에 비해 더 정보 기반이며 효율적인 탐색을 가능하게 했다.