[논문 리뷰] Identifying Properties of Real-World Optimisation Problems through a Questionnaire

Koen van der Blom, Timo M. Deist외 6명|arXiv (Cornell University)|2020. 11. 11.

Advanced Multi-Objective Optimization Algorithms인용 수 6

한 줄 요약

이 논문은 45명의 전문가 및 연구자들을 대상으로 한 글로벌 설문 조사 통해 실제 최적화 문제의 핵심 특성을 규명한다. 대부분의 실제 문제들이 제약 조건이 있으며, 연속적이고 계산에 비용이 많이 들며 평가 횟수가 제한된 특성을 지닌다는 점을 드러내며, 이러한 특성들은 일반적으로 표준 벤치마크에서 누락되어 있음. 따라서 보다 현실적인 최적화 테스트 세트 설계에 기여한다.

ABSTRACT

Optimisation algorithms are commonly compared on benchmarks to get insight into performance differences. However, it is not clear how closely benchmarks match the properties of real-world problems because these properties are largely unknown. This work investigates the properties of real-world problems through a questionnaire to enable the design of future benchmark problems that more closely resemble those found in the real world. The results, while not representative as they are based on only 45 responses, indicate that many problems possess at least one of the following properties: they are constrained, deterministic, have only continuous variables, require substantial computation times for both the objectives and the constraints, or allow a limited number of evaluations. Properties like known optimal solutions and analytical gradients are rarely available, limiting the options in guiding the optimisation process. These are all important aspects to consider when designing realistic benchmark problems. At the same time, the design of realistic benchmarks is difficult, because objective functions are often reported to be black-box and many problem properties are unknown. To further improve the understanding of real-world problems, readers working on a real-world optimisation problem are encouraged to fill out the questionnaire: https://tinyurl.com/opt-survey

연구 동기 및 목표

• 인위적 벤치마크에서 자주 생략되는 실제 최적화 문제의 구조적 및 계산적 특성을 이해하기 위해.
• 제약 조건, 변수 유형, 평가 시간, 최적 해의 가용성 등의 특성으로 실제 문제의 복잡도를 규명하기 위해.
• 고차원적 탐색 공간과 비용이 많이 드는 목적 함수 평가와 같은 부족하게 반영된 기능을 강조하여 더 현실적인 벤치마크 세트 개발을 이끌기 위해.
• 알고리즘 벤치마킹과 실제 적용 가능성 향상을 위해 더 넓은 공동체의 참여를 유도하기 위해 실제 문제 특성에 대한 설문 조사를 수행하기 위해.
• 현재의 벤치마크에서 누락되거나 부족하게 반영된 점을 규명하고, 미래의 벤치마크 프레임워크에 포함하기 위해 새로운 인위적 또는 단순화된 실제 문제를 제안하기 위해.

제안 방법

• 진화 계산 분야의 연구자 및 전문가들에게 구조화된 설문지를 배포하여 실제 최적화 문제에 대한 데이터를 수집하였다.
• 설문지에서는 문제 유형(단일/다중/다수 목적), 변수 유형(연속/이산), 제약 조건, 평가 시간, 최적 해의 가용성, 해석적 기울기 등을 포함한 정보를 수집하였다.
• 공통적인 특성, 특정 기능의 퍼센트, 문제 특성 간 상관관계를 분석하여 특성의 빈도와 경향을 규명하였다.
• 탐색적 데이터 분석을 통해 문제 차원과 평가 비용 간의 관계와 같은 추세를 탐지하였다.
• 기존의 벤치마크 세트와의 비교를 통해 누락되거나 부족하게 반영된 기능을 식별하였다.
• 향후 벤치마크 문제 설계에 활용하기 위해 실제 문제의 복잡성과 제약 조건을 더 잘 반영하는 특성을 도출하였다.

실험 결과

연구 질문

• RQ1 전문가들이 보고한 실제 최적화 문제에서 가장 흔한 특성은 무엇인가?
• RQ2 기본 인위적 벤치마크와 비교했을 때 실제 문제의 제약 조건, 변수 유형, 평가 비용 측면에서의 차이는 무엇인가?
• RQ3 실제 적용에서 거의 가용하지 않는 문제 특성들(예: 알려진 최적 해, 해석적 기울기)은 무엇인가?
• RQ4 실제 응용에서 비용이 많이 드는 목적 함수 평가와 제한된 평가 예산은 얼마나 흔한가?
• RQ5 현행 벤치마크 세트에 부족한데 실제 문제에서는 흔한 특성은 무엇인가?

주요 결과

• 다중 및 다수 목적 문제의 44%가 목적 간 선호도를 명시적으로 가짐으로써, 선호 기반 축소 기법이 매우 관련성이 높음을 시사한다.
• 50% 이상의 문제들이 평가 시간이 1초를 초과하며, 목적 함수 및 제약 조건 모두 상당한 계산 자원이 필요한 경우가 많음.
• 제약 조건은 상당수 문제에 존재하며, 연속 변수가 주로 사용되지만 이산형 및 혼합 정수 문제도 흔히 존재함.
• 최적 해와 해석적 기울기는 거의 가용하지 않아 기울기 기반 또는 정확한 최적화 기법의 사용이 제한됨.
• 많은 문제들이 고차원적 탐색 공간(100개 이상의 변수)을 지님. 그러나 이러한 특성들은 현재의 벤치마크 세트에서 흔히 부족하게 반영됨.
• 단일 목적 문제에 비해 다중 및 다수 목적 문제의 목적 함수 평가 시간이 현저히 길며, 이는 다수 목적 최적화의 핵심 과제임을 강조함.