[논문 리뷰] A Survey on Learnable Evolutionary Algorithms for Scalable Multiobjective Optimization

Songbai Liu, Lin, Qiuzhen외 2명|arXiv (Cornell University)|2022. 06. 23.

Advanced Multi-Objective Optimization Algorithms인용 수 6

한 줄 요약

이 종합 검토에서는 복잡하고 대규모의 다목적 최적화 문제(MOPs)의 확장성 문제를 해결하기 위해 기계학습을 다목적 유전적 알고리즘(MOEAs)에 통합한 학습 가능한 유전적 알고리즘(LEAs)을 소개한다. 환경 선택을 위한 판별기, 복제를 위한 생성기, 함수 평가를 위한 평가기, 경험 공유를 위한 전이 모듈과 같은 학습 가능한 구성 요소를 활용함으로써 LEAs는 다수의 목표, 비용이 많이 드는 평가, 또는 변화하는 환경을 포함한 다양한 MOPs에서의 적응성과 성능을 향상시킨다.

ABSTRACT

Recent decades have witnessed great advancements in multiobjective evolutionary algorithms (MOEAs) for multiobjective optimization problems (MOPs). However, these progressively improved MOEAs have not necessarily been equipped with scalable and learnable problem-solving strategies for new and grand challenges brought by the scaling-up MOPs with continuously increasing complexity from diverse aspects, mainly including expensive cost of function evaluations, many objectives, large-scale search space, time-varying environments, and multi-task. Under different scenarios, divergent thinking is required in designing new powerful MOEAs for solving them effectively. In this context, research studies on learnable MOEAs with machine learning techniques have received extensive attention in the field of evolutionary computation. This paper begins with a general taxonomy of scaling-up MOPs and learnable MOEAs, followed by an analysis of the challenges that these MOPs pose to traditional MOEAs. Then, we synthetically overview recent advances of learnable MOEAs in solving various scaling-up MOPs, focusing primarily on four attractive directions (i.e., learnable evolutionary discriminators for environmental selection, learnable evolutionary generators for reproduction, learnable evolutionary evaluators for function evaluations, and learnable evolutionary transfer modules for sharing or reusing optimization experience). The insight of learnable MOEAs is offered to readers as a reference to the general track of the efforts in this field.

연구 동기 및 목표

• 다수의 목표, 비용이 많이 드는 평가, 변화하는 환경을 포함한 현대의 다목적 최적화 문제(MOPs)의 증가하는 복잡성과 확장성 요구를 해결한다.
• 대규모 및 복잡한 MOPs를 다룰 때 기존 MOEAs가 적응형 데이터 기반 전략을 효과적으로 구현하지 못하는 한계를 규명한다.
• 기계학습을 활용해 최적화 성능과 확장성을 향상시키는 최근의 학습 가능한 MOEAs의 발전을 체계적으로 분류하고 분석한다.
• 기계학습 구성 요소가 다목적 문제를 위한 유전적 계산에 통합되는 방식을 통합된 프레임워크로 정리한다.
• 다양한 MOPs와 시나리오 간 최적화 경험을 재사용할 수 있는 전이 학습과 메타학습의 잠재력을 부각시킨다.

제안 방법

• 비용이 많이 드는 함수 평가, 다수의 목표, 큰 검색 공간, 시간에 따라 변화하는 환경, 다중 작업 최적화와 같은 주요 과제를 기반으로 MOPs의 확장성 문제를 분류하는 체계를 제안한다.
• 학습 가능한 유전적 판별기(환경 선택용), 학습 가능한 생성기(복제용), 학습 가능한 평가기(적합도의 서브오르디네이트 모델링용), 학습 가능한 전이 모듈(지식 공유용)의 네 가지 핵심 학습 가능한 구성 요소를 도입한다.
• 딥 러닝과 강화 학습 기법을 유전적 연산자에 통합하여 선택, 변형, 평가 과정에서의 적응형 의사결정을 가능하게 한다.
• 메타학습과 소수의 샘플에 기반한 적응 전략을 사용하여 다양한 MOP 인스턴스 간 최적화 경험을 공유함으로써 샘플 효율성을 향상시킨다.
• 기계학습 모델을 MOEA 파이프라인에 통합하는 것을 정형화하며, 이는 이전 최적화 데이터를 기반으로 훈련된 모델이 새로운 또는 복잡한 문제 인스턴스에서의 탐색을 안내하도록 한다.
• LEAs의 모듈러 설계를 입증하여 문제 특성에 따라 학습 가능한 구성 요소를 자유롭게 교체하고 조합할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 기계학습 기법을 어떻게 체계적으로 다목적 유전적 알고리즘에 통합하여 확장성과 성능을 향상시킬 수 있는가?
• RQ2 기존 MOEAs가 효과적으로 해결하지 못하는 대규모 복잡한 MOPs가 야기하는 주요 과제는 무엇인가?
• RQ3 판별기, 생성기, 평가기, 전이 모듈과 같은 학습 가능한 구성 요소가 MOEAs의 적응성과 효율성을 어떻게 향상시키는가?
• RQ4 학습 가능한 전이 모듈을 통해 다양한 MOPs 간 최적화 경험을 어떻게 공유하거나 재사용할 수 있는가?
• RQ5 실제 응용 분야에서 확장 가능하고 학습 가능한 MOEAs를 설계하기 위한 가장 유망한 방향성과 아키텍처는 무엇인가?

주요 결과

• 학습 가능한 유전적 판별기는 파레토 최적 해 경계를 학습함으로써 환경 선택에서 수렴성과 다양성 향상에 크게 기여한다.
• 학습 가능한 생성기는 문제 특화된 탐색 패턴을 모델링함으로써 복잡하고 다중 최적점이 존재하는 검색 공간을 효과적으로 탐색하여 전통적 변형 연산자보다 뛰어난 성능을 보인다.
• 학습 가능한 평가기는 제한된 데이터로 훈련된 서브오르디네이트 모델을 사용해 적절한 적합도 예측을 수행함으로써 비용이 많이 드는 함수 평가 횟수를 줄인다.
• 학습 가능한 전이 모듈은 이전에 해결된 문제들로부터의 지식을 전이함으로써 새로운 MOP에서 더 빠른 수렴을 가능하게 하며, 특히 소수의 샘플이 존재하는 상황에서 유리하다.
• 다양한 학습 가능한 구성 요소를 통합하면, 다목적 및 동적 문제를 포함한 다양한 MOPs에서 기준선 MOEAs에 비해 뛰어난 성능을 달성한다.
• 이 종합 검토는 유전적 계산과 딥 러닝, 메타학습의 융합이 적응형, 확장 가능하고 일반화 가능한 최적화 프레임워크를 가능하게 하며 명백한 추세로 나타나고 있음을 밝혀낸다.