[논문 리뷰] Automated Design of Metaheuristic Algorithms: A Survey

Qi Zhao, Qiqi Duan외 3명|arXiv (Cornell University)|2023. 03. 12.

Metaheuristic Optimization Algorithms Research인용 수 7

한 줄 요약

이 종합적 서베이는 자동화된 메타휴리스틱 알고리즘 설계에 대한 체계적인 분류 체계를 제시하며, 설계 공간, 설계 전략, 성능 평가, 대상 문제의 네 가지 구성 요소로 프로세스를 체계화한다. 유전적 프로그래밍, 강화 학습, 서rogate 모델링과 같은 핵심 기법을 검토하고, 최소한의 인간 간섭으로 고성능이고 커스터마이징 가능한 메타휴리스틱을 개발하기 위한 과제와 향후 방향성을 규명한다.

ABSTRACT

Metaheuristics have gained great success in academia and practice because their search logic can be applied to any problem with available solution representation, solution quality evaluation, and certain notions of locality. Manually designing metaheuristic algorithms for solving a target problem is criticized for being laborious, error-prone, and requiring intensive specialized knowledge. This gives rise to increasing interest in automated design of metaheuristic algorithms. With computing power to fully explore potential design choices, the automated design could reach and even surpass human-level design and could make high-performance algorithms accessible to a much wider range of researchers and practitioners. This paper presents a broad picture of automated design of metaheuristic algorithms, by conducting a survey on the common grounds and representative techniques in terms of design space, design strategies, performance evaluation strategies, and target problems in this field.

연구 동기 및 목표

• 수작업으로 메타휴리스틱을 설계하는 데서 비롯하는 한계를 해결하기 위해, 이는 시간이 오래 걸리고 실수가 많으며 전문 지식이 필요하기 때문이다.
• 자동화된 설계가 계산 능력을 어떻게 활용하여 인간 수준의 알고리즘 설계를 뛰어넘거나 이를 충족시킬 수 있는지 탐색하기 위해.
• 설계 공간, 전략, 평가, 대상 문제의 핵심 구성 요소를 체계화함으로써 자동화된 메타휴리스틱 설계를 통합된 프레임워크로 이해하기 위해.
• 자동화된 설계와 알고리즘 선택 및 설정과 같은 유사 분야를 구분하여 개념적 경계를 명확히 하기 위해.
• 연구 격차와 향후 방향성, 특히 실세계 응용 및 자동화된 머신러닝 및 메타러닝과의 통합을 규명하기 위해.

제안 방법

• 설계 공간(알고리즘 구성 요소, 구조, 파라미터), 설계 전략(예: 유전적 프로그래밍, 강화 학습), 성능 평가(메트릭, 서rogate 모델), 대상 문제의 네 부분으로 구성된 체계적 분류 체계를 제안한다.
• 알고리즘 구조를 진화시키는 데 유용한 유전적 프로그래밍과 정책 기반 설계에 적합한 강화 학습과 같은 대표적인 기법을 검토한다.
• 저해상도 모델을 사용해 알고리즘 성능을 예측함으로써 계산 비용을 줄이기 위해 서rogate 기반 성능 추정 기법을 도입한다.
• 다양한 벤치마크에서 알고리즘 비교 시 발생하는 '사이클 순위' 역설을 해결하기 위해 이진 필터 조건의 활용을 강조한다.
• 다중 품질 평가와 모델 학습을 통합하여 설계 속도를 가속화하고 일반화 능력을 향상시킨다.
• 문제 특성에 종속되지 않으며 다양한 성능 메트릭과 호환 가능한 엔드 투 엔드 서rogate 모델을 제안한다.

실험 결과

연구 질문

• RQ1 자동화된 메타휴리스틱 알고리즘 설계의 핵심 구성 요소와 체계적 구조는 무엇인가?
• RQ2 유전적 프로그래밍과 강화 학습과 같은 다양한 설계 전략은 알고리즘 생성에 어떻게 기여하는가?
• RQ3 특히 고비용 문제에서 계산 비용을 줄이기 위해 가장 효과적인 성능 평가 전략은 무엇인가?
• RQ4 다양한 문제 인스턴스에 걸쳐 신뢰성 있게 알고리즘 성능을 추정할 수 있도록 서rogate 모델을 어떻게 효과적으로 설계할 수 있는가?
• RQ5 제약 조건과 대규모 탐색 공간을 가진 실세계 문제에 대해 자동화된 설계를 확장하는 데 있어 핵심 과제는 무엇인가?

주요 결과

• 현대 컴퓨팅 자원을 활용해 설계 공간을 완전히 탐색함으로써 자동화된 설계는 인간 수준의 성능을 뛰어넘을 수 있다.
• 서rogate 기반 성능 추정은 이진 필터 조건을 통해 신뢰할 수 있는 알고리즘 순위를 유지하면서 평가 비용을 크게 줄인다.
• 자동화된 설계와 자동화된 머신러닝 및 메타러닝의 통합은 교차 분야 혁신을 가능하게 하며, 예를 들어 메타휴리스틱을 사용해 머신러닝 파이프라인 자동 생성을 실현할 수 있다.
• 현재의 연구는 주로 TSP, JSSP, SAT와 같은 수치적 벤치마크에 국한되어 있어, 더 넓은 실세계 적용이 필요하다는 점을 시사한다.
• 두 번째 유형의 자동화된 알고리즘 설정—구성 요소 조합과 하이퍼파rameter 튜닝의 통합—은 자동화된 설계에 속하며,传통적인 설정과의 경계를 흐리게 한다.
• 다양한 알고리즘 구조를 처리하고 원시 메트릭 값이 아닌 순위를 신뢰성 있게 추정할 수 있는 정확한 서rogate 모델을 설계하는 데 도전 과제가 남아 있다.