[논문 리뷰] Illuminating search spaces by mapping elites

Jean-Baptiste Mouret, Jeff Clune|arXiv (Cornell University)|2015. 04. 20.

Reinforcement Learning in Robotics참고 문헌 59인용 수 406

한 줄 요약

이 논문은 사용자가 정의한 기능 공간을 통해 고성능 솔루션을 맵핑하는 새로운 진화 알고리즘인 MAP-Elites를 소개한다. 이 알고리즘은 성능과 설계 특성 간의 트레이드오프를 드러내며, 체계적으로 엘리트 솔루션을 탐색하고 아카이브화함으로써, 단일 최고 성능 솔루션을 찾는 데에도 불구하고 전역 성능에서 기존 최적화 기법을 능가하는 다양한 고품질 솔루션을 발견한다.

ABSTRACT

Many fields use search algorithms, which automatically explore a search space to find high-performing solutions: chemists search through the space of molecules to discover new drugs; engineers search for stronger, cheaper, safer designs, scientists search for models that best explain data, etc. The goal of search algorithms has traditionally been to return the single highest-performing solution in a search space. Here we describe a new, fundamentally different type of algorithm that is more useful because it provides a holistic view of how high-performing solutions are distributed throughout a search space. It creates a map of high-performing solutions at each point in a space defined by dimensions of variation that a user gets to choose. This Multi-dimensional Archive of Phenotypic Elites (MAP-Elites) algorithm illuminates search spaces, allowing researchers to understand how interesting attributes of solutions combine to affect performance, either positively or, equally of interest, negatively. For example, a drug company may wish to understand how performance changes as the size of molecules and their cost-to-produce vary. MAP-Elites produces a large diversity of high-performing, yet qualitatively different solutions, which can be more helpful than a single, high-performing solution. Interestingly, because MAP-Elites explores more of the search space, it also tends to find a better overall solution than state-of-the-art search algorithms. We demonstrate the benefits of this new algorithm in three different problem domains ranging from producing modular neural networks to designing simulated and real soft robots. Because MAP- Elites (1) illuminates the relationship between performance and dimensions of interest in solutions, (2) returns a set of high-performing, yet diverse solutions, and (3) improves finding a single, best solution, it will advance science and engineering.

연구 동기 및 목표

• 기존의 검색 알고리즘이 단일 또는 소수의 고성능 솔루션을 반환함으로써 설계 공간 내에서 중요한 트레이드오프를 놓치는 한계를 해결하기 위해.
• 크기, 비용, 모odu라리티와 같은 관심 있는 차원에서 성능의 변화를 종합적이고 시각적으로 맵핑할 수 있는 방법을 개발하기 위해.
• 더 넓은 검색 공간을 탐색함으로써 전역 최적화 성능을 향상시키고, 더 나은 종합적 솔루션을 찾을 가능성을 높이기 위해.
• 연구자와 엔지니어가 최고의 솔루션 뿐 아니라 설계 특성 조합이 성능에 어떻게 기여하는지 이해할 수 있도록 하기 위해.
• 진화 계산 및 최적화 분야에서 널리 사용되는 알고리즘에 대한 인용 가능하고 기초적인 참고 자료를 제공하기 위해.

제안 방법

• MAP-Elites는 사용자가 선택한 특성(예: 크기, 비용, 모듈화)으로 구성된 다차원 특성 공간을 정의하여 고성능 솔루션을 조직하고 아카이브화한다.
• 알고리즘은 각 셀이 고유한 특성 값 조합에 대응하는 격자(맵)를 유지하며, 각 셀에 대해 발견된 최고 성능의 솔루션을 저장한다.
• 변형과 선택을 통해 새로운 솔루션을 생성하는 계층적이고 병렬화된 진화 알고리즘을 사용하며, 적합도 평가에는 시뮬레이션 또는 실험을 활용한다.
• 맵의 해상도는 시간이 지남에 따라 적응적으로 증가하며, 처음에는 굵은 격자에서 시작하여 검색이 진행됨에 따라 더 높은 해상도로 정밀해진다.
• 솔루션은 특성 값에 따라 셀에 맵핑되며, 각 셀에 대해 유일하게 최고 성능을 보인 솔루션만 유지되어 엘리트 유지 보장을 확보한다.
• 알고리즘은 배치 기반 업데이트 전략을 사용하여 각 반복마다 다수의 솔루션을 평가하고, 반복적으로 맵을 업데이트하여 특성 공간의 더 넓은 영역을 커버한다.

실험 결과

연구 질문

• RQ1 검색 알고리즘이 사용자가 정의한 설계 특성에 따라 성능의 종합적이고 시각적인 맵을 제공할 수 있는가? 이는 특성과 성능 간의 트레이드오프와 관계를 드러내는가?
• RQ2 특성 기반 맵핑을 통한 더 넓은 검색 영역 탐색이 기존 최적화 알고리즘보다 더 나은 종합적 솔루션을 도출하는가?
• RQ3 MAP-Elites는 단일 최고 솔루션을 반환하는 알고리즘과 비교해 볼 때, 정량적으로 다른 다양한 고성능 솔루션을 얼마나 잘 발견하는가?
• RQ4 전역 신뢰성, 정밀도, 특성 공간 커버리지 측면에서 MAP-Elites의 성능가 최첨단 기법과 비교해 어떻게 되는가?
• RQ5 MAP-Elites는 신경망 설계, 소프트 로봇, 물리적 로봇 제어와 같은 다양한 분야에 효과적으로 적용될 수 있는가?

주요 결과

• MAP-Elites는 소프트 로봇 공학 및 신경망 설계를 포함한 모든 테스트 도메인에서 최첨단 최적화 알고리즘보다 더 높은 전역 성능을 달성했다.
• 알고리즘은 특성 공간 전반에 걸쳐 다양한 고성능 솔루션을 발견하여, 단일 솔루션 최적화기에서는 드러나지 않았던 성능 트레이드오프를 드러냈다.
• 망막 문제에서는 연결 비용과 네트워크 모듈화도를 기반으로 성능을 맵핑하여, 이 두 가지 경쟁적 특성을 균형 잡은 고성능 구성 요소를 식별했다.
• 소프트 로봇 설계에서는 뼈 비율과 바이트 채움 비율의 조합을 탐색하여, 이동 성능에 대한 맵을 생성했으며, 최적 설계 영역을 드러냈다.
• 물리적 팔 실험에서는 커버리지와 적합도 측면에서 무작위 샘플링과 격자 탐색을 모두 능가했으며, 가장 높이 올라가는 구성 요소를 발견했다.
• 알고리즘은 최고의 알려진 솔루션 기준으로 정규화된 성능을 바탕으로, 전역 신뢰성과 정밀도에서 뛰어난 성능을 보였다.