[논문 리뷰] RL-GA: A Reinforcement Learning-Based Genetic Algorithm for Electromagnetic Detection Satellite Scheduling Problem

Yanjie Song, Luona Wei외 4명|arXiv (Cornell University)|2022. 06. 12.

Satellite Communication Systems인용 수 5

한 줄 요약

이 논문은 강화학습을 통합한 유전 알고리즘(RL-GA)을 제안하며, 전자기 탐지 위성 스케줄링 문제(EDSSP)에 적용한다. Q-학습을 통합하여 진화 연산자 동적 선택 및 개체군 탐색 유도를 가능하게 하여, 대규모 및 실세계 사례에서 높은 탐지 수익과 작업 완료율(90% 이상)을 달성한다. 최신 기술 대비 해법 품질과 효율성에서 뛰어난 성능을 보인다.

ABSTRACT

The study of electromagnetic detection satellite scheduling problem (EDSSP) has attracted attention due to the detection requirements for a large number of targets. This paper proposes a mixed-integer programming model for the EDSSP problem and a genetic algorithm based on reinforcement learning (RL-GA). Numerous factors that affect electromagnetic detection are considered in the model, such as detection mode, bandwidth, and other factors. The RL-GA embeds a Q-learning method into an improved genetic algorithm, and the evolution of each individual depends on the decision of the agent. Q-learning is used to guide the population search process by choosing evolution operators. In this way, the search information can be effectively used by the reinforcement learning method. In the algorithm, we design a reward function to update the Q value. According to the problem characteristics, a new combination of is proposed. The RL-GA also uses an elite individual retention strategy to improve search performance. After that, a task time window selection algorithm (TTWSA) is proposed to evaluate the performance of population evolution. Several experiments are used to examine the scheduling effect of the proposed algorithm. Through the experimental verification of multiple instances, it can be seen that the RL-GA can solve the EDSSP problem effectively. Compared with the state-of-the-art algorithms, the RL-GA performs better in several aspects.

연구 동기 및 목표

• 탐지 모드, 대역폭, 저장 용량 등의 다수 제약 조건을 수반하는 복잡한 전자기 탐지 위성 스케줄링 문제(EDSSP)를 해결하기 위해.
• 유전 알고리즘(GA)과 강화학습(RL)을 융합한 하이브리드 최적화 방법을 개발하여, 적응형 연산자 선택과 향상된 탐색 성능를 확보하기 위해.
• EDSSP 특성에 맞게 조정된 새로운 $<$상태, 행동$>$ 조합과 보상 함수를 설계하여 Q-학습의 효과적인 유도를 위해.
• 대규모 및 실세계 사례에서 알고리즘 성능을 평가하여 실용적 스케줄링 시나리오에서의 확장성과 강건성을 입증하기 위해.

제안 방법

• 탐지 모드, 대역폭, 저장 제약 조건을 통합한 혼합정수계획모델을 EDSSP에 제안한다.
• 개선된 유전 알고리즘에 Q-학습을 통합하여, 에이전트가 상태 기반 Q-값에 따라 진화 연산자(예: 교차, 변이)를 선택하도록 한다.
• 개체군 탐색 성능 기반의 맞춤형 $<$상태, 행동$>$ 표현을 설계하여 RL 의사결정을 유도한다.
• 각 진화 사이클 후에 업데이트되는 보상 함수를 적용하여 해 품질 및 진전 정도를 반영한다.
• 고적합도 개체군을 유지하는 엘리트 개체 보존 전략을 적용하여 수렴성 향상.
• 스케줄링 과정에서 개체군 진화를 평가하고 유도하기 위해 작업 시간 창 선택 알고리즘(TTWSA)을 도입한다.

실험 결과

연구 질문

• RQ1 강화학습을 어떻게 효과적으로 유전 알고리즘에 통합하여 EDSSP에서 탐색 적응성을 향상시킬 수 있는가?
• RQ2 Q-학습을 활용한 EDSSP에서의 연산자 선택을 유도하기 위한 최적의 $<$상태, 행동$>$ 표현은 무엇인가?
• RQ3 최신 기술 대비 RL-GA 방법의 탐지 수익과 작업 완료율 측면에서의 성능 비교는 어떻게 이루어지는가?
• RQ4 RL-GA 알고리즘이 대규모 및 실세계 EDSSP 사례에서 높은 성능를 유지할 수 있는가?
• RQ5 보상 함수와 엘리트 보존 전략은 해 품질 향상과 수렴 속도 향상에 어떤 역할을 하는가?

주요 결과

• RL-GA 알고리즘은 여러 일간의 스케줄링에서 안정적인 일일 탐지 수익을 달성하며, 작업 완료율이 90%를 초과함을 확인하였다.
• 대규모 및 초대규모 사례에서, RL-GA는 최신 기술 대비 해법 품질과 계산 시간 모두에서 뛰어난 성능을 보였다.
• 하루에 1,000개의 작업을 일관된 성능으로 계획할 수 있어, 확장성과 장기 운영 가능성의 타당성을 입증하였다.
• Q-학습 통합으로 적응형 연산자 선택이 가능해져 탐색 효율성과 해의 적응성 향상에 기여하였다.
• TTWSA는 개체군 진화 평가에 효과적으로 기여하여 더 나은 스케줄링 결과와 더 빠른 수렴을 이끌어내었다.
• 제안된 방법은 위성 스케줄링을 초월해 순서에 의존하는 조합 최적화 문제에 응용 가능하다.