[논문 리뷰] Benchmarking in Optimization: Best Practice and Open Issues

Thomas Bartz–Beielstein, Carola Doerr외 15명|arXiv (Cornell University)|2020. 07. 07.

Advanced Multi-Objective Optimization Algorithms참고 문헌 213인용 수 80

한 줄 요약

최적화 알고리즘 벤치마킹을 위한 모범 사례 지침을 포괄적으로 개요화하는 설문으로, 목표, 문제 세트, 알고리즘, 성능 측정, 분석, 설계, 발표 및 재현성을 다루며, 열려 있는 이슈와 주기적 업데이트로의 경로를 제시한다.

ABSTRACT

This survey compiles ideas and recommendations from more than a dozen researchers with different backgrounds and from different institutes around the world. Promoting best practice in benchmarking is its main goal. The article discusses eight essential topics in benchmarking: clearly stated goals, well-specified problems, suitable algorithms, adequate performance measures, thoughtful analysis, effective and efficient designs, comprehensible presentations, and guaranteed reproducibility. The final goal is to provide well-accepted guidelines (rules) that might be useful for authors and reviewers. As benchmarking in optimization is an active and evolving field of research this manuscript is meant to co-evolve over time by means of periodic updates.

연구 동기 및 목표

• 최적화에서 벤치마킹 연구의 목표와 동기에 대해 명확히 한다.
• 문제 집합과 알고리즘에 대한 바람직한 특성과 평가 기준을 식별한다.
• 성능 측정, 데이터 분석, 실험 설계, 결과 발표에 대한 가이드라인을 제공한다.
• 벤치마킹에서 재현성 및 데이터 공유의 문제를 다룬다.
• 주기적 업데이트를 통해 연구 분야와 함께 진화할 수 있는 프레임워크를 제공한다.

제안 방법

• 전 세계 기관의 다양한 연구자들로부터의 권고를 종합한다.
• 논의를 여덟 가지 핵심 벤치마킹 주제로 정리한다: 목표, 문제, 알고리즘, 성능, 분석, 설계, 발표, 재현성.
• 각 주제에 실질적인 모범 사례의 예를 매핑하고 향후 연구를 위한 미해결 이슈를 강조한다.

실험 결과

연구 질문

• RQ1 최적화에서 벤치마킹 연구를 주도하는 주요 목표는 무엇인가?
• RQ2 문제 인스턴스는 어떻게 선택하고 평가하며 대표성과 다양성을 유지해야 하는가?
• RQ3 벤치마킹을 위한 견고하고 정보에 충실한 성능 측정 및 분석은 무엇으로 구성되는가?
• RQ4 재현성과 비교 가능성을 보장하기 위해 실험은 어떻게 설계되고 보고되어야 하는가?
• RQ5 벤치마킹 모범 사례에서 남아 있는 미해결 문제는 무엇이며 향후 업데이트에서 어떻게 다루어져야 하는가?

주요 결과

• 최적화에서의 벤치마킹은 목표를 명확히 진술해야 하며, 이는 문제 선택, 알고리즘, 성능 기준 및 통계에 영향을 준다.
• 문제 세트는 다양하고 대표적이며 확장 가능해야 하고 때로는 알려진 기준값이나 최상의 알려진 성능을 가져야 한다.
• 알고리즘 튜닝과 이해는 신중한 실험 설계와 강인한 통계 도구가 필요하며 매개변수의 강인성에 주의해야 한다.
• 성능 외삽 및 학습 유사 사용(예: AutoML)은 가능하지만 문제 특징 및 인스턴스 선정을 신중히 다룰 필요가 있다.
• 재현성은 정확한 알고리즘/문제 설명, 시드, 데이터 형식, 공유 데이터 저장소에 달려 있으며 표준화는 여전히 해결해야 할 이슈이다.
• 벤치마킹은 이론과 실무의 다리 역할을 하며 이론적 통찰과 알고리즘 개발에 영감을 줄 수 있다.