[논문 리뷰] Uncertain Quality-Diversity: Evaluation methodology and new methods for Quality-Diversity in Uncertain Domains

Manon Flageat, Antoine Cully|arXiv (Cornell University)|2023. 02. 01.

Advanced Bandit Algorithms Research인용 수 7

한 줄 요약

이 논문은 적합도와 묘사자표가 고정된 값이 아니라 분포로 주어지는 불확실한 환경에서의 품질-다양성(QD) 최적화를 위한 공식적 프레임워크인 불확실성 품질-다양성(Uncertain QD)을 소개한다. 각 세대별로 샘플링 예산을 고려한 새로운 평가 방법론을 제안하며, 표준 MAP-Elites보다 불확실한 도메인에서의 해의 재현 가능성과 내구성을 향상시키는 세 가지 새로운 알고리즘—Archive-sampling, Parallel-Adaptive-sampling, Deep-Grid-sampling—을 제시한다.

ABSTRACT

Quality-Diversity optimisation (QD) has proven to yield promising results across a broad set of applications. However, QD approaches struggle in the presence of uncertainty in the environment, as it impacts their ability to quantify the true performance and novelty of solutions. This problem has been highlighted multiple times independently in previous literature. In this work, we propose to uniformise the view on this problem through four main contributions. First, we formalise a common framework for uncertain domains: the Uncertain QD setting, a special case of QD in which fitness and descriptors for each solution are no longer fixed values but distribution over possible values. Second, we propose a new methodology to evaluate Uncertain QD approaches, relying on a new per-generation sampling budget and a set of existing and new metrics specifically designed for Uncertain QD. Third, we propose three new Uncertain QD algorithms: Archive-sampling, Parallel-Adaptive-sampling and Deep-Grid-sampling. We propose these approaches taking into account recent advances in the QD community toward the use of hardware acceleration that enable large numbers of parallel evaluations and make sampling an affordable approach to uncertainty. Our final and fourth contribution is to use this new framework and the associated comparison methods to benchmark existing and novel approaches. We demonstrate once again the limitation of MAP-Elites in uncertain domains and highlight the performance of the existing Deep-Grid approach, and of our new algorithms. The goal of this framework and methods is to become an instrumental benchmark for future works considering Uncertain QD.

연구 동기 및 목표

• 불확실한 도메인에서 적합도와 묘사자가 고정된 값이 아니라 분포로 주어지는 경우에 대한 품질-다양성 최적화를 위한 통합된 프레임워크를 공식화하는 것.
• 표준 QD 알고리즘인 MAP-Elites의 한계를 해결하는 것—즉, 불확실한 환경에서 엘리티즘으로 인해 운이 좋은 평가에 편향되는 문제를 해결하는 것.
• 배치 크기 대신 샘플링 예산을 고려한 새로운 평가 방법론을 제안하여 불확실성 처리 전략 간 공정한 비교를 가능하게 하는 것.
• 고병렬성과 샘플링을 활용하여 해의 신뢰성과 다양성을 향상시키는 새로운 불확실성 QD 알고리즘의 설계 및 평가.
• 오픈소스 도구와 표준화된 평가 프로토콜을 통해 향후 불확실성 QD 연구를 위한 벤치마크를 수립하는 것.

제안 방법

• 적합도와 묘사자가 가능한 값에 대한 확률분포로 주어지는 특수한 QD 설정으로서 불확실성 QD 설정을 공식화한다.
• 알고리즘 비교에서 배치 크기 대신 '샘플링 크기'(sampling-size)를 도입하여, 각 해에 대해 세대당 평가하는 총 수를 나타낸다.
• 각 세대별 샘플링, 해의 반복 평가, 분포 기반 지표 계산을 포함하는 새로운 평가 파이프라인을 제안한다.
• 세 가지 새로운 알고리즘—Archive-sampling(아카이브에서 해를 샘플링하여 평가), Parallel-Adaptive-sampling(세포별 분산에 따라 샘플링을 적응적으로 조정), Deep-Grid-sampling(신경망을 사용해 분포를 모델링하고 전략적으로 샘플링)을 개발한다.
• QD-Score, 재현 가능성 점수, 적합도/묘사자 분산 등의 지표를 활용하여 다양한 작업에서 성능과 내구성을 평가한다.
• QDax와 EvoJax 등의 라이브러리를 통한 고병렬화를 활용하여 샘플링 기반 평가를 효율적으로 수행함으로써, 모델 기반 불확실성 처리 방식에 비해 샘플링이 실용적인 대안이 될 수 있도록 한다.

Figure 1: Illustration of the Uncertain QD setting: (1) we represent the fitness and descriptors of $3$ hypothetical solutions in the usual QD setup (left) versus in the Uncertain QD setup (right): their fitness and descriptors are now distributions over possible values, instead of fixed constant va

실험 결과

연구 질문

• RQ1 적합도와 묘사자가 불확실한 값일 경우, 품질-다양성 최적화를 어떻게 공식적으로 확장할 수 있는가?
• RQ2 샘플링으로 인해 평가 비용이 변동하는 상황에서, 불확실성 QD 알고리즘을 공정하게 비교하는 가장 효과적인 방법은 무엇인가?
• RQ3 샘플링 기반 접근 방식이 적합도, 다양성, 재현 가능성 측면에서 모델 기반 또는 적응 전략에 비해 어떻게 비교되는가?
• RQ4 균일 샘플링, 적응 샘플링, 또는 분포 모델링 중 어떤 알고리즘 설계가 불확실한 환경에서 가장 내구성 있고 다양한 해를 도출하는가?
• RQ5 고병렬성이 가능해져 샘플링이 저렴해지면, 간단한 샘플링 전략이 더 복잡한 모델 기반 방법보다 성능이 뛰어나게 될 수 있는가?

주요 결과

• MAP-Elites는 엘리티즘으로 인해 운이 좋은 평가에 편향되어 불확실한 도메인에서 실패하며, 재현 불가능한 해가 선택된다.
• Archive-sampling과 Parallel-Adaptive-sampling은 해 성능의 분산을 줄여 MAP-Elites와 MAP-Elites-Random보다 재현 가능성을 크게 향상시킨다(p < 1.10⁻³).
• Walker 작업에서 QD-Score 측면에서 Deep-Grid-sampling이 다른 방법들을 능가한다(p < 5.10⁻², 샘플링 크기 256일 때)이며, 더 단순한 작업에서는 뛰어난 성능을 보인다.
• Deep-Grid는 단순한 노이즈 구조를 가진 도메인에서는 잘 작동하지만, 복잡한 노이즈에서는 분포 근사의 한계로 인해 어려움을 겪는다.
• MAP-Elites-sampling은 샘플링을 사용하지만, 탐색 부족과 열악한 샘플링 전략으로 인해 재현 가능성에서 표준 MAP-Elites와 유사한 성능을 보인다.
• Archive-sampling과 Parallel-Adaptive-sampling은 복잡한 작업(AnT 및 Walker)에서 QD-Score 측면에서 경쟁력을 보이며, 이들 환경에서 Deep-Grid-sampling을 능가한다. 또한 강력한 재현 가능성을 입증한다.

Figure 2: Pareto front for all approaches on all tasks. The x-axis is the Corrected QD-Score, quantifying the quality and diversity of the final collection; and the y-axis is the Time to convergence in minutes. For each approach, we represent increasing sampling-size as increasing marker-size. The d