[논문 리뷰] Biobjective Performance Assessment with the COCO Platform

Dimo Brockhoff, Tea Tušar외 4명|arXiv (Cornell University)|2016. 05. 05.

Advanced Multi-Objective Optimization Algorithms참고 문헌 14인용 수 26

한 줄 요약

이 논문은 COCO 플랫폼 내에서 히퍼볼륨 기반 품질 지표를 사용하여 이목적 성능 평가 프레임워크를 도입한다. 이는 알고리즘이 사전 정의된 목표 히퍼볼륨 값에 도달할 때까지의 런타임을 측정하기 위한 것이다. 진정한 파레토 집합이 알려져 있지 않은 상황에서, 여러 다목적 알고리즘의 비지배적 해를 통합하여 기준 히퍼볼륨을 설정함으로써, 이론적 파레토 집합이 알려져 있지 않은 이목적 최적화 문제에 대해 일관되고 재현 가능한 벤치마킹이 가능해진다.

ABSTRACT

This document details the rationales behind assessing the performance of numerical black-box optimizers on multi-objective problems within the COCO platform and in particular on the biobjective test suite bbob-biobj. The evaluation is based on a hypervolume of all non-dominated solutions in the archive of candidate solutions and measures the runtime until the hypervolume value succeeds prescribed target values.

연구 동기 및 목표

• COCO 플랫폼 내에서 이목적 최적화 알고리즘에 대한 표준화되고 재현 가능한 성능 평가 프레임워크를 개발하기 위해.
• 알고리즘 간 비교를 가능하게 하기 위해, 사전 정의된 히퍼볼륨 목표 값에 도달하기까지의 함수 평가 횟수로 런타임을 정의하기 위해.
• 대부분의 bbob-biobj 문제에서 진정한 파레토 집합이 알려져 있지 않기 때문에, 여러 알고리즘의 비지배적 해를 통합하여 기준 히퍼볼륨 값을 설정하기 위해.
• 모든 비지배적 해를 저장하여 향후 성능 지표의 재계산을 지원하기 위해.
• 일관된 지표 계산을 통해 여러 문제 인스턴스에 걸쳐 알고리즘 성능의 일반화 및 검증을 가능하게 하기 위해.

제안 방법

• 사용된 품질 지표는 외부 아카이브의 비지배적 해 집합의 히퍼볼륨이며, 기준점으로 나디르 점을 사용한다.
• 이deal 점을 (0,0)으로, 나디르 점을 (1,1)로 매핑하는 애핀 변환을 통해 정규화된 히퍼볼륨 지표를 계산한다.
• 성능 측정을 위한 목표 값은 정밀도 수준의 집합으로 정의되며, 기준 히퍼볼륨을 초월할 수 있도록 음수 값도 포함된다.
• 기준 히퍼볼륨은 NSGA-II, SMS-EMOA, MOEA/D, RM-MEDA, MO-CMA-ES, 및 스칼라화된 문제에서의 CMA-ES를 포함한 여러 알고리즘의 비지배적 해를 통합하여 근사한다.
• 각 알고리즘 실행에서 생성된 모든 비지배적 해를 저장하여 향후 기준 집합 업데이트 및 성능 재계산를 가능하게 한다.
• 성능 데이터는 고유 식별자로 일련번호를 매기고, COCO 플랫폼의 GitHub 리포지토리를 통해 기준 히퍼볼륨 값과 연결된다.

실험 결과

연구 질문

• RQ1 진정한 파레토 프론트가 알려져 있지 않은 상황에서, 이목적 최적화 알고리즘에 대한 일관되고 재현 가능한 성능 평가를 어떻게 달성할 수 있는가?
• RQ2 이목적 최적화에서 알고리즘의 진전을 측정하기 위한 효과적이고 안정적인 품질 지표는 무엇인가?
• RQ3 다른 알고리즘 간 런타임 성능 비교를 의미 있게 하기 위해, 목표 값은 어떻게 정의해야 하는가?
• RQ4 해석적 파레토 집합 해가 없는 상황에서 기준 히퍼볼륨 값을 신뢰성 있게 근사하는 방법은 무엇인가?
• RQ5 이전 벤치마킹 결과를 무효화하지 않고, 기준 집합의 향후 개선 사항을 어떻게 통합할 수 있는가?

주요 결과

• COCO 플랫폼은 이목적 최적화의 주요 품질 측정 지표로 외부 아카이브의 히퍼볼륨 지표를 사용하며, 런타임은 목표 값에 도달하기까지의 함수 평가 횟수로 정의된다.
• 목표 값은 정밀도 수준의 시퀀스로 정의되며, 음수 값까지 포함되어 기준 히퍼볼륨을 초월할 수 있도록 하며, 런타임은 경험적 누적분포함수로 보고된다.
• 기준 히퍼볼륨은 NSGA-II, SMS-EMOA, MOEA/D, RM-MEDA, MO-CMA-ES, 및 스칼라화된 문제에서의 CMA-ES를 포함한 여러 알고리즘의 해를 통합하여 구성된 비지배적 기준 집합에서 계산된다.
• 기준 집합은 매번 알고리즘 실행에서 생성된 비지배적 해를 통합함으로써 지속적으로 향상되며, 이는 향후 성능 지표의 재계산를 가능하게 한다.
• 성능 데이터는 일련번호를 매기고 특정 기준 히퍼볼륨 값과 연결되어 있어, COCO 플랫폼의 GitHub 리포지토리를 통해 재현성과 추적 가능성을 보장한다.
• 이 방법은 진정한 파레토 프론트가 해석적으로 알려져 있지 않은 경우에도 일관되고 확장 가능하며 확장 가능한 이목적 최적화기의 벤치마킹을 가능하게 한다.