[논문 리뷰] Learning adaptive differential evolution algorithm from optimization experiences by policy gradient

Jianyong Sun, Xin Liu외 2명|arXiv (Cornell University)|2021. 02. 06.

Metaheuristic Optimization Algorithms Research참고 문헌 55인용 수 4

한 줄 요약

이 논문은 강화학습 기반의 적응형 차등 진화(Adaptive Differential Evolution, LDE) 알고리즘을 제안하며, 정책 그래เดียน트와 LSTM 컨트롤러를 사용해 최적의 제어 파라미터(F, CR, N)를 최적화 경험에서 학습한다. 이 방법은 파라미터 제어를 마르코프 결정 과정(Markov Decision Process)으로 모델링하고, CEC’13 및 CEC’17 테스트 세트에서 경쟁력 있는 성능을 달성하여, 진화 계산에서 경험 기반의 적응형 파라미터 조정의 효과성을 입증한다.

ABSTRACT

Differential evolution is one of the most prestigious population-based stochastic optimization algorithm for black-box problems. The performance of a differential evolution algorithm depends highly on its mutation and crossover strategy and associated control parameters. However, the determination process for the most suitable parameter setting is troublesome and time-consuming. Adaptive control parameter methods that can adapt to problem landscape and optimization environment are more preferable than fixed parameter settings. This paper proposes a novel adaptive parameter control approach based on learning from the optimization experiences over a set of problems. In the approach, the parameter control is modeled as a finite-horizon Markov decision process. A reinforcement learning algorithm, named policy gradient, is applied to learn an agent (i.e. parameter controller) that can provide the control parameters of a proposed differential evolution adaptively during the search procedure. The differential evolution algorithm based on the learned agent is compared against nine well-known evolutionary algorithms on the CEC'13 and CEC'17 test suites. Experimental results show that the proposed algorithm performs competitively against these compared algorithms on the test suites.

연구 동기 및 목표

• 차등 진화에서 최적의 제어 파라미터(F, CR, N)를 선택하는 문제에 대응하며, 이는 일반적으로 문제에 따라 특화되어 있으며 수동으로 조정하기 어려운 경향이 있다.
• 고정 또는 히우리스틱 기반의 파라미터 제어 방식의 한계를 극복하기 위해, 실시간 피드백에 기반해 검색 중 동적으로 적응형 파라미터 조정을 가능하게 한다.
• 단일 실행에서의 온라인 피드백에 의존하는 대신, 여러 문제를 걸쳐 축적된 최적화 경험에서 학습하는 파라미터 컨트롤러를 개발한다.
• 안정적이고 일반화 가능한 파라미터 정책을 발견하기 위해 강화학습을 활용해 차등 진화의 강건성, 효율성 및 성능을 향상시킨다.
• 검색 진행 상황과 문제 특성에 따라 언제 F와 CR을 높이거나 낮출지 학습함으로써 탐색과 탐색의 균형을 적응적으로 유지할 수 있도록 한다.

제안 방법

• 유한 시간 마르코프 결정 과정(Finite-horizon Markov Decision Process, MDP)으로 적응형 파라미터 제어 문제를 모델링하며, 상태는 최적화 진행 상황을 나타내고, 행동은 파라미터 설정을 의미한다.
• 이력 최적화 상태를 인코딩하고 제어 파라미터(F, CR, N)를 생성하기 위해 장기 기억 단기 기억(Long Short-Term Memory, LSTM) 순환 신경망을 정책 네트워크로 사용한다.
• 수렴 품질 및 다양성 지표에 기반한 누적 보상 최대화를 위해 정책 그래데이언트 강화학습 알고리즘을 사용해 LSTM 정책을 훈련시킨다.
• CEC’13 테스트 세트에서의 훈련을 통해 최적화 경험을 수집하여, 이후 미리 훈련된 컨트롤러를 새로운 문제에 배포하기 전에 준비한다.
• 훈련된 컨트롤러를 표준 DE 프레임워크에 통합하여, 검색 과정의 각 세대에서 동적으로 파라미터를 업데이트할 수 있도록 한다.
• 상태 특징(예: 적합도 범위, 집단 다양성, 수렴 속도 등)을 LSTM의 입력으로 정의하여 적응형 파라미터 선택을 안내한다.

실험 결과

연구 질문

• RQ1 강화학습 에이전트는 여러 문제에 걸쳐 최적화 경험을 기반으로 차등 진화 파라미터(F, CR, N)를 적응적으로 제어할 수 있는가?
• RQ2 정책 그래데이언트로 훈련된 LSTM 컨트롤러는 수렴 속도와 해의 품질 측면에서 전통적인 고정 또는 히우리스틱 기반 파라미터 제어 전략을 능가하는가?
• RQ3 학습된 파라미터 정책은 다양한 문제 유형, 특히 미리 보지 않은 CEC’17 벤치마크 함수에 대해 얼마나 일반화 가능한가?
• RQ4 특정 문제 세트(예: CEC’13)에서의 훈련이, 다른 문제나 더 높은 차원의 문제에 적용되었을 때 컨트롤러의 성능에 어떤 영향을 미치는가?
• RQ5 경험 기반 학습은 온라인 피드백 전용 방법에 비해 더 안정적이고 강건한 파라미터 적응을 이끌 수 있는가?

주요 결과

• 제안된 LDE 알고리즘은 CEC’13 및 CEC’17 테스트 세트에서 아홉 가지 잘 알려진 진화 알고리즘과 비교해도 경쟁력 있는 성능을 보이며, 강력한 일반화 능력과 강건성을 입증했다.
• 정책 그래데이언트로 훈련된 LSTM 컨트롤러는 문제의 경로와 검색 진행 상황에 따라 F와 CR을 동적으로 조정함으로써 탐색과 탐색의 균형을 성공적으로 유지했다.
• 30차원 문제에서 컨트롤러를 훈련하기 위해 상당한 컴퓨팅 자원이 필요했으며, CPU/GPU 시간이 크게 소요되어 높은 훈련 비용과 확장성 문제를 드러냈다.
• 훈련 세트와 특성이 다름 없는 문제에서는 성능 향상이 제한적이었으며, 이는 일반화 능력이 훈련 데이터 유사성에 의해 제한됨을 시사한다.
• LSTM 정책 네트워크의 추론 오버헤드로 인해 LDE 알고리즘의 시간 복잡도는 기본 DE 변종보다 높다.
• 계산 비용이 높음에도 불구하고 LDE 방법은 몇몇 최첨단 알고리즘을 능가했으며, 진화 계산에서 경험 기반의 적응형 파라미터 제어의 가치를 입증했다.