[논문 리뷰] Multi-objective Analysis of MAP-Elites Performance

Eivind Samuelsen, Kyrre Glette|arXiv (Cornell University)|2018. 03. 14.

Reinforcement Learning in Robotics참고 문헌 17인용 수 3

한 줄 요약

이 논문은 정렬 효과 크기(클리프의 델타)와 파레토 지배를 조합하여 다중 척도 성능 지표(정밀도, 커버리지, 신뢰성 등) 간에 알고리즘 성능을 정량적으로 비교할 수 있는 다목적 성능 분석 방법을 제안한다. 이 방법은 돌연변이 크기가 돌연변이 유형이나 지ap 해상도보다 성과에 더 큰 영향을 미친다는 것을 드러내며, 네 종류의 로봇 형태에서 정밀도와 커버리지 간의 최적 트레이드오프를 이룰 수 있는 σ = 0.4가 가장 우수한 성능을 보였다.

ABSTRACT

In certain complex optimization tasks, it becomes necessary to use multiple measures to characterize the performance of different algorithms. This paper presents a method that combines ordinal effect sizes with Pareto dominance to analyze such cases. Since the method is ordinal, it can also generalize across different optimization tasks even when the performance measurements are differently scaled. Through a case study, we show that this method can discover and quantify relations that would be difficult to deduce using a conventional measure-by-measure analysis. This case study applies the method to the evolution of robot controller repertoires using the MAP-Elites algorithm. Here, we analyze the search performance across a large set of parametrizations; varying mutation size and operator type, as well as map resolution, across four different robot morphologies. We show that the average magnitude of mutations has a bigger effect on outcomes than their precise distributions.

연구 동기 및 목표

• 정밀도, 커버리지, 신뢰성과 같은 다수의 서로 다른 척도를 가진 성능 지표 간에 MAP-Elites 성능을 비교하는 데 도전하는 데 목적을 두며.
• 확률적 변동성과 척도 차이를 고려한 품질다양성(Quality Diversity, QD) 탐색에서 알고리즘적 트레이드오프를 분석할 수 있는 강건하고 일반화 가능한 방법을 개발하는 데 목적을 두며.
• MAP-Elites의 핵심 초모수인 돌연변이 크기, 돌연변이 유형, 지도 해상도가 다양한 로봇 형태에서 성능에 미치는 영향을 평가하는 데 목적을 두며.
• 정렬 효과 크기 분석이 전통적인 측정 기반 또는 박스플롯 기반 비교보다 더 명확하고 일반화 가능한 통찰을 제공할 수 있음을 보여주는 데 목적을 두며.

제안 방법

• 이 방법은 정렬 비모수적 효과 크기인 클리프의 델타를 사용하여, 여러 시행 동안 한 초모수 설정의 성능이 다른 설정에 비해 어느 정도 지배하는지를 정량화한다.
• 다중 목표(정밀도, 커버리지, 신뢰성) 간 성능 비교에 파레토 지배를 적용하며, 각 시행을 확률적 결과로 간주한다.
• 클리프의 델타에 대한 신뢰구간은 부트스트래핑을 통해 계산되며, 통계적 유의성 검정(α = 0.01)을 위해 사용되며, 영이 포함되는 경우 유의미한 차이가 없음을 의미한다.
• 성능는 평균 성능가 장치 수에 따라 추적하는 파라메트릭 플롯을 통해 시각화되며, 그림자 영역은 최소한 절반 이상의 시행에서 지배를 나타낸다.
• 다양한 척도 범위를 고려하여 결과를 통합함으로써 이 방법은 로봇 형태 간 일반화가 가능해지며, 서로 다른 설정 간 비교를 가능하게 한다.
• 이 방법은 돌연변이 크기(σ), 돌연변이 유형(모든 파라미터 vs. 부분적 파라미터), 지도 해상도(5×5에서 9×9까지)를 변화시켜 로봇 컨트롤러 레퍼지터리의 진화를 위한 사례 연구에 적용된다.

실험 결과

연구 질문

• RQ1 다양한 돌연변이 크기(σ)는 로봇 컨트롤러 레퍼지터리 진화에서 정밀도와 커버리지에 어떤 영향을 미치는가?
• RQ2 다양한 로봇 형태에서 돌연변이 유형(모든 파라미터 vs. 확률적 편향)이 MAP-Elites 성능에 미치는 상대적 영향은 어떠한가?
• RQ3 지도 해상도는 행동 공간에서 커버리지와 정밀도 간의 트레이드오프에 어떤 영향을 미치는가?
• RQ4 파레토 지배와 함께 정렬 효과 크기 분석은 기존의 측정 기반 또는 박스플롯 기반 분석보다 더 일반화 가능하고 해석이 쉬운 통찰을 제공할 수 있는가?

주요 결과

• 돌연변이 크기 σ = 0.4가 모든 로봇 형태에서 가장 우수한 성능을 보이며, 가장 큰 반지배 영역과 정밀도 및 커버리지 간 최적 트레이드오프를 확보한다.
• 돌연변이 크기 σ = 0.2와 σ = 0.8는 동일한 성능를 보이며, σ = 0.05와 σ = 0.1보다 유의미하게 뛰어나며, 이 두 경우는 유의미하게 열 劣하다.
• 작은 지도 해상도(5×5)는 더 큰 해상도(7×7 및 9×9)보다 일관되게 뛰어나며, 5×5는 7×7보다, 7×7은 9×9보다 강한 선호를 보인다.
• 돌연변이 유형에 대한 효과 크기는 작고 통계적으로 유의미하지 않아, 모든 파라미터를 변형시키는 것과 일부만 변형시키는 것 간에 의미 있는 차이가 없음을 시사한다.
• 파라메트릭 플롯은 지수 수렴 추세를 보이며, 평등한 간격의 마크는 평가 횟수에 따라 일관된 진전을 나타낸다.
• 이 방법은 네 종류의 로봇 형태에 걸쳐 성능 통찰을 일반화하여, 성능 지표의 척도가 다름에도 불구하고 일관된 트레이드오프를 드러내었다.