[논문 리뷰] Using Centroidal Voronoi Tessellations to Scale Up the Multi-dimensional Archive of Phenotypic Elites Algorithm

Vassilis Vassiliades, Konstantinos Chatzilygeroudis외 1명|arXiv (Cornell University)|2016. 10. 18.

Evolutionary Algorithms and Applications참고 문헌 27인용 수 7

한 줄 요약

이 논문은 고차원 행동 공간을 고정된 수의 잘 분포된 영역으로 나누어 효율적인 탐색과 다양하고 높은 성능을 보이는 해를 기록할 수 있도록 하는 확장성 있는 MAP-Elites 알고리즘인 CVT-MAP-Elites를 제안한다. 이 방법은 고차원 작업, 예를 들어 미로 탐색과 6족 보행에서 성능을 유지하며, 표준 MAP-Elites에 비해 확장성은 뛰어나면서도 해의 품질은 유지한다.

ABSTRACT

The recently introduced Multi-dimensional Archive of Phenotypic Elites (MAP-Elites) is an evolutionary algorithm capable of producing a large archive of diverse, high-performing solutions in a single run. It works by discretizing a continuous feature space into unique regions according to the desired discretization per dimension. While simple, this algorithm has a main drawback: it cannot scale to high-dimensional feature spaces since the number of regions increase exponentially with the number of dimensions. In this paper, we address this limitation by introducing a simple extension of MAP-Elites that has a constant, pre-defined number of regions irrespective of the dimensionality of the feature space. Our main insight is that methods from computational geometry could partition a high-dimensional space into well-spread geometric regions. In particular, our algorithm uses a centroidal Voronoi tessellation (CVT) to divide the feature space into a desired number of regions; it then places every generated individual in its closest region, replacing a less fit one if the region is already occupied. We demonstrate the effectiveness of the new "CVT-MAP-Elites" algorithm in high-dimensional feature spaces through comparisons against MAP-Elites in maze navigation and hexapod locomotion tasks.

연구 동기 및 목표

• 표준 MAP-Elites가 고차원 행동 공간으로 확장될 때 발생하는 니치 수의 지수적 증가 문제를 해결하기 위해.
• 고차원 기능 공간에서 다양하고 높은 성능을 보이는 해의 효과적인 탐색과 기록을 가능하게 하기 위해.
• 차원에 관계없이 일정한 수의 니치를 유지하는 방법을 개발하여 확장성 향상시키기 위해.
• 실제 로봇 작업, 예를 들어 미로 탐색과 6족 보행에서 제안된 CVT-MAP-Elites 알고리즘의 성능을 평가하기 위해.

제안 방법

• 알고리즘은 행동 공간을 k개의 균일하게 분포하고 잘 형태를 가진 영역으로 나누기 위해 중심점 Voronoi 테세레이션(CVT)을 사용한다. 이는 차원에 영향을 받지 않는다.
• 생성된 각 개체는 행동 공간 내에서 거리 척도를 기반으로 가장 가까운 CVT 영역에 할당된다.
• 해당 영역이 이미 점유되어 있는 경우, 새로운 개체가 더 높은 적합도를 가질 경우에만 기존 개체를 교체한다.
• CVT는 행동 공간 점들의 대규모 샘플에 대해 반복적인 k-평균 군집화를 수행하여 영역의 균일한 공간 분포를 확보한다.
• 이 방법은 임의의 행동 공간 차원을 지원하며, 계산 비용을 제어하기 위해 사전 정의된 k(니치 수)를 사용한다.
• 알고리즘의 성능 평가를 위해 유클리드 거리 척도와 분수 노름 거리 척도를 모두 사용하여 척도 선택에 대한 탄력성 평가를 수행한다.

실험 결과

연구 질문

• RQ1 CVT 기반 영역 분할이 고차원 행동 공간에서 확장 가능한 품질 다양성 최적화를 가능하게 하는가?
• RQ2 CVT-MAP-Elites는 고차원 작업에서 표준 MAP-Elites에 비해 해의 다양성과 성능 측면에서 어떻게 비교되는가?
• RQ3 거리 척도 선택(유클리드 vs. 분수 노름)이 CVT-MAP-Elites의 성능에 상당한 영향을 미치는가?
• RQ4 진화적 로봇 작업에서 탐색, 이용, 일반화를 균형 있게 유지하기 위한 최적의 니치 수(k)는 얼마인가?
• RQ5 손상된 로봇 보행 상황과 같은 분포 변화 상황에서 CVT-MAP-Elites는 어떻게 성능을 보이는가?

주요 결과

• CVT-MAP-Elites는 표준 MAP-Elites에 비해 유의미하게 뛰어난 확장성을 확보하며, 표준 MAP-Elites가 지수적 니치 폭발로 실패하는 고차원 행동 공간(예: 250D)에서도 성능을 유지한다.
• 미로 탐색 작업에서 20D 및 250D 기술자료와 k=50 조건에서 목표까지 거리 < 100인 양호한 해 비율이 높아, 더 나은 커버리지와 다양성 확보를 확인했다.
• 6족 보행 작업에서는 손상된 조건에서 k=10000이 최고의 성능를 보였고, k=100000은 성능 저하가 심해져 최적의 k 범위가 존재함을 시사했다.
• 유클리드 거리 척도와 분수 노름 거리 척도 간 성능에 유의미한 차이가 없었으며, 척도 선택에 대한 탄력성이 있음을 확인했다.
• 작은 k 값(예: k=10)은 손상되지 않은 로봇의 진화적 성능에서 유리했고, k∈{10,100,1000,10000} 조건에서는 일반화 성능(손상된 경우)에 유의미한 차이가 없었다.
• 분수 노름은 손상되지 않은 경우에 약간의 성능 향상을 보였지만, 손상된 상황에서는 유의미한 차이가 없었으며, 이는 척도 선택이 일반화에 미치는 영향이 제한적임을 시사한다.