[논문 리뷰] BMOBench: Black-Box Multi-Objective Optimization Benchmarking Platform

Abdullah Al-Dujaili, Suresh Sundaram|arXiv (Cornell University)|2016. 05. 23.

Advanced Multi-Objective Optimization Algorithms참고 문헌 16인용 수 7

한 줄 요약

BMOBench는 블랙박스 다목적 최적화를 위한 종합적인 벤치마크 플랫폼로, 100개의 다양한 테스트 문제를 바탕으로 다수의 품질 지표와 런타임 메트릭을 사용해 솔버를 평가한다. 이 플랫폼은 결정론적 및 확률적 알고리즘 간의 공정한, 데이터 프로파일 기반 비교를 가능하게 하며, 다양한 평가 예산 하에서 MO-SOO가 대부분의 문제에서 뛰어난 수렴 속도를 보임을 입증한다.

ABSTRACT

This document briefly describes the Black-Box Multi-Objective Optimization Benchmarking (BMOBench) platform. It presents the test problems, evaluation procedure, and experimental setup. To this end, the BMOBench is demonstrated by comparing recent multi-objective solvers from the literature, namely SMS-EMOA, DMS, and MO-SOO.

연구 동기 및 목표

• 블랙박스 다목적 최적화 알고리즘을 위한 표준화되고 재현 가능한 벤치마킹 프레임워크를 구축하기 위해.
• 다중 실행과 최적 런타임 집계를 고려하여 결정론적 및 확률적 솔버 간의 공정한 비교를 가능하게 하기 위해.
• 확장 가능하고 비볼록하며 제약 조건이 있는 다양한 문제 유형을 포함한 문제 유형 전반에서 알고리즘 성능을 평가하기 위해.
• 다수의 품질 지표와 런타임 효율성 메트릭을 사용한 통합 평가 프로토콜을 제공하기 위해.
• 함수 평가 예산에 따른 데이터 프로파일을 통한 수렴 행동의 경험적 분석을 지원하기 위해.

제안 방법

• 플랫폼은 차원 수(n), 目적 수(m), 특성(L: 저수준, H: 고수준, S: 확장 가능, NS: 비확장 가능, U: 비제약, M: 다모달, D: 탈진)가 다른 100개의 테스트 문제를 포함한다.
• 네 가지 품질 지표를 사용한다: 초과부피 차이(I⁻ₕ), 생성 거리(IGD), 반전 생성 거리(IGD⁺), 추가 에psilon 지표(I⁺ₑ₊)로, 모두 정규화되고 기준 집합 기반이다.
• 기준 집합 R은 이전의 진화 알고리즘(Custódio 등, 2011)의 근사 집합을 합쳐서 구성되어, 목표 계산의 일관성을 확보한다.
• 수렴을 평가하기 위해 데이터 프로파일을 사용한다: dₛ(α) = (1/|P|) × |{p ∈ P : tₚ,ₛ / nₚ ≤ α}|, 여기서 tₚ,ₛ는 문제 p에서 목표에 도달하는 데 소요된 런타임(함수 평가 수)이다.
• 확률적 솔버의 경우, 10회의 실행 중에서 가장 좋은 런타임을 사용하여 다양한 평가 예산 하에서의 공정한 비교를 가능하게 한다.
• 경험적 런타임은 특정 문제(BK1, DPAM1, L3ZDT1, DTLZ3, FES3)에서 평가 예산 10, 100, 1000일 때 함수 평가당 시간의 로그-로그 플롯을 통해 측정된다.

실험 결과

연구 질문

• RQ1 다양한 테스트 문제에서 다양한 다목적 최적화 솔버(SMS-EMOA, DMS, MO-SOO)의 수렴 속도는 어떻게 비교되는가?
• RQ2 데이터 프로파일과 최적 실행 메트릭을 사용할 때, 확률적 솔버와 결정론적 솔버의 상대적 성능은 어떠한가?
• RQ3 다양한 문제 유형과 평가 예산에서 알고리즘의 효율성(함수 평가당 런타임)은 어떻게 변화하는가?
• RQ4 초과부피 및 생성 거리와 같은 품질 지표가 블랙박스 최적화에서 수렴 행동과 얼마나 상관이 있는가?
• RQ5 통합된 벤치마킹 프레임워크는 다목적 최적화 알고리즘의 공정하고 확장 가능하며 재현 가능한 평가를 지원할 수 있는가?

주요 결과

• MO-SOO는 대부분의 문제에서 SMS-EMOA와 DMS보다 수렴 속도가 빠르며, 이는 낮은 함수 평가 예산에서 더 높은 데이터 프로파일 값으로 나타난다.
• 데이터 프로파일 분석 결과, MO-SOO는 특히 최적화의 초반 단계에서 SMS-EMOA와 DMS보다 목표에 훨씬 빨리 도달하는 것으로 나타났다.
• 경험적 런타임 측정 결과, MO-SOO는 SMS-EMOA와 DMS보다 함수 평가당 시간 비용이 낮아 더 뛰어난 계산 효율성을 보였다.
• 벤치마킹 프레임워크는 확률적 알고리즘의 경우 10회 시험에서의 최적 실행 결과를 사용함으로써 결정론적 및 확률적 솔버를 모두 수용하였다.
• 정규화된 기준 집합과 다수의 품질 지표 사용으로 인해 다양한 문제 유형과 차원에서 일관되고 신뢰할 수 있는 성능 평가가 가능했다.
• 플랫폼의 설계는 확장 가능하고 문제에 종속되지 않는 평가를 가능하게 하여, 향후 블랙박스 다목적 최적화의 알고리즘 개발 및 비교를 지원한다.