[논문 리뷰] A Survey on Distributed Evolutionary Computation

Wei–Neng Chen, Feng-Feng Wei외 3명|arXiv (Cornell University)|2023. 04. 12.

Metaheuristic Optimization Algorithms Research인용 수 4

한 줄 요약

이 논문은 분산 진화 계산(Distributed Evolutionary Computation, DEC)에 대한 종합적인 서베이를 제시하며, 알고리즘 설계에서 구현에 이르기까지 새로운 분류 체계를 제안한다. 이는 중심집중형 최적화(병렬 처리를 통한)와 부분 정보를 가진 분산 최적화를 체계적으로 검토하며, 후자를 차원-, 데이터-, 목적함수 분산 문제로 분류하고, 분야의 핵심 과제와 향후 연구 방향을 규명한다.

ABSTRACT

The rapid development of parallel and distributed computing paradigms has brought about great revolution in computing. Thanks to the intrinsic parallelism of evolutionary computation (EC), it is natural to implement EC on parallel and distributed computing systems. On the one hand, the computing power provided by parallel computing systems can significantly improve the efficiency and scalability of EC. On the other hand, data are collected and processed in a distributed manner, which brings a novel development direction and new challenges to EC. In this paper, we intend to give a systematic review on distributed EC (DEC). First, a new taxonomy for DEC is proposed from top design mechanism to bottom implementation mechanism. Based on this taxonomy, existing studies on DEC are reviewed in terms of purpose, parallel structure of the algorithm, parallel model for implementation, and the implementation environment. Second, we clarify two major purposes of DEC, i.e., improving efficiency through parallel processing for centralized optimization and cooperating distributed individuals/sub-populations with partial information to perform distributed optimization. Third, noting that the latter purpose of DEC is an emerging and attractive trend for EC with the booming of spatially distributed paradigms, this paper gives a systematic definition of the distributed optimization and classifies it into dimension distributed-, data distributed-, and objective distributed-optimization problems. Formal formulations for these problems are provided and various DEC studies on these problems are reviewed. We also discuss challenges and potential research directions, aiming to enlighten the design of DEC and pave the way for future developments.

연구 동기 및 목표

• 병렬 및 분산 컴퓨팅 기술의 발전에 대응하여 분산 진화 계산(Distributed Evolutionary Computation, DEC)에 대한 체계적인 서베이를 제공하기 위해.
• DEC의 두 가지 주요 목적을 명확히 하기 위해: 병렬 처리를 통한 효율성 향상과 부분 정보를 가진 분산된 개체 간의 협력 가능성을 확보하기 위해.
• 차원-, 데이터-, 목적함수 분산 문제로 분류되는 분산 최적화 문제를 수학적 형식으로 정의하고 체계화하기 위해.
• 분산 진화 계산 분야에서 열려 있는 과제를 규명하고, 향후 발전을 위한 유망한 연구 방향을 제안하기 위해.

제안 방법

• 상위 수준 설계 메커니즘에서 하위 수준 구현 기법에 이르기까지 계층적 분류 체계를 제안한다.
• 목적, 알고리즘 병렬 구조, 구현 모델, 배포 환경에 따라 DEC 연구를 분류한다.
• 세 가지 유형의 분산 최적화(차원-, 데이터-, 목적함수 분산 문제)에 대한 공식적인 수학적 형식을 도입한다.
• 다양한 문제 유형에 걸쳐 기존의 DEC 접근 방식을 검토하며, 알고리즘 전략과 통신 패턴에 중점을 둔다.
• 분산 진화 계산 시스템에서 수렴 속도, 해 품질, 통신 오버헤드 사이의 상충 관계를 분석한다.
• 공간적으로 분산된 진화 계산의 새로운 추세와 부분 정보 공유가 분산 최적화에서 수행하는 역할을 강조한다.

실험 결과

연구 질문

• RQ1 어떻게 분산 및 병렬 컴퓨팅 인프라를 활용하여 진화 계산을 효과적으로 확장할 수 있는가?
• RQ2 병렬 진화 계산을 통한 중심집중형 최적화와 부분 정보를 가진 진짜로 분산된 최적화 사이의 핵심 차이점은 무엇인가?
• RQ3 진화 계산의 맥락에서 분산 최적화 문제를 공식적으로 분류하고 수학적으로 모델링할 수 있는가?
• RQ4 효율적이고 확장 가능한 분산 진화 알고리즘을 설계할 때 주요 과제는 무엇인가?
• RQ5 분산 진화 계산을 발전시키기 위해 가장 유망한 향후 연구 방향은 무엇인가?

주요 결과

• 논문은 차원-, 데이터-, 목적함수 분산 문제로 나누어지는 분산 최적화의 공식적 분류를 수립하며, 각각에 대해 고유한 수학적 형식을 제시한다.
• 분산 최적화는 공간적으로 분산된 데이터와 시스템의 증가로 인해 부상하고 있으며, 점점 더 중요한 추세로 부상하고 있음을 규명한다.
• 서베이 결과, 분산 진화 계산에서 통신 오버헤드와 로드 밸런싱이 특히 대규모 구현에서 핵심 과제임을 확인한다.
• 기존의 DEC 접근 방식은 중심집중 환경에서는 확장성과 효율성이 향상되었지만, 분산 조율 문제 해결은 여전히 주요 열린 과제로 남아 있다.
• 실세계의 분산 최적화 문제를 해결하기 위해 부분 정보 공유와 탈중앙화된 의사결정의 통합이 필수적임을 입증한다.
• 저자들은 향후 연구가 적응형 통신 전략, 장애 내성, 중심집중형 및 분산형 패러다임을 융합한 하이브리드 모델에 집중해야 한다고 결론 내린다.