[論文レビュー] A Survey on Distributed Evolutionary Computation

Wei–Neng Chen, Feng-Feng Wei+3 more|arXiv (Cornell University)|Apr 12, 2023

Metaheuristic Optimization Algorithms Research被引用数 4

ひとこと要約

本論文は、分散型進化的計算（DEC）に関する包括的なサーベイを提示し、アルゴリズム設計から実装に至るまで、独創的な分類体系を提案している。本論文は、並列処理による集中型最適化と、部分的情報を有する分散型最適化を体系的にレビューし、後者を次元・データ・目的関数に分散された問題に分類している。さらに、分野における主な課題と今後の研究方向性を特定している。

ABSTRACT

The rapid development of parallel and distributed computing paradigms has brought about great revolution in computing. Thanks to the intrinsic parallelism of evolutionary computation (EC), it is natural to implement EC on parallel and distributed computing systems. On the one hand, the computing power provided by parallel computing systems can significantly improve the efficiency and scalability of EC. On the other hand, data are collected and processed in a distributed manner, which brings a novel development direction and new challenges to EC. In this paper, we intend to give a systematic review on distributed EC (DEC). First, a new taxonomy for DEC is proposed from top design mechanism to bottom implementation mechanism. Based on this taxonomy, existing studies on DEC are reviewed in terms of purpose, parallel structure of the algorithm, parallel model for implementation, and the implementation environment. Second, we clarify two major purposes of DEC, i.e., improving efficiency through parallel processing for centralized optimization and cooperating distributed individuals/sub-populations with partial information to perform distributed optimization. Third, noting that the latter purpose of DEC is an emerging and attractive trend for EC with the booming of spatially distributed paradigms, this paper gives a systematic definition of the distributed optimization and classifies it into dimension distributed-, data distributed-, and objective distributed-optimization problems. Formal formulations for these problems are provided and various DEC studies on these problems are reviewed. We also discuss challenges and potential research directions, aiming to enlighten the design of DEC and pave the way for future developments.

研究の動機と目的

• 並列処理および分散処理の技術進展に対応して、分散型進化的計算（DEC）の体系的レビューを提供すること。
• DECの二つの主な目的を明確にすること：並列処理による効率性の向上と、部分的情報を持つ分散型個体間の協調動作の実現。
• 次元・データ・目的関数に分散された問題の3種類の分散最適化問題を、数学的定式化を用いて形式化および分類すること。
• DEC分野における未解決の課題を特定し、今後の発展に向けた有望な研究方向性を提示すること。

提案手法

• 上位レベルの設計メカニズムから下位レベルの実装技術までをカバーする階層的分類体系を提案する。
• 目的、アルゴリズム的並列構造、実装モデル、展開環境に基づいて、DECの研究を分類する。
• 次元・データ・目的関数に分散された問題の3種類の分散最適化問題について、形式的な数学的定式化を導入する。
• 問題の種別に応じた既存のDECアプローチをレビューし、アルゴリズム戦略と通信パターンに焦点を当てる。
• 分散型ECシステムにおける収束速度、解の品質、通信オーバーヘッドの間のトレードオフを分析する。
• 空間的に分散されたECの動向と、部分的情報共有が分散型最適化における役割を強調する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして分散型および並列処理インfra構造を活用して進化的計算を効果的にスケーリングできるか？
• RQ2 並列ECによる集中型最適化と、部分的情報を有する真の分散型最適化の主な違いは何か？
• RQ3 進化的計算の文脈において、分散最適化問題を形式的に分類し、数学的にモデル化する方法は何か？
• RQ4 効率的かつスケーラブルな分散型進化的アルゴリズムを設計するにあたり、主な課題は何か？
• RQ5 分散型進化的計算を前進させるにあたり、最も有望な今後の研究方向性は何か？

主な発見

• 本論文は、次元・データ・目的関数に分散された問題に分類される分散最適化の形式的分類を確立し、それぞれに特徴的な数学的定式化を提示している。
• 分散最適化は、空間的に分散されたデータやシステムの増加に伴い、急成長している分野であり、今後ますます重要性を増すとされている。
• サーベイの結果、通信オーバーヘッドと負荷バランスが、特に大規模な展開において分散型進化的計算における重要な課題であると判明した。
• 既存のDECアプローチは、集中型環境ではスケーラビリティと効率性が向上しているが、分散型の連携は依然として主要な未解決課題である。
• 現実世界の分散最適化問題を解くには、部分的情報共有と分散型意思決定の統合が不可欠であると示された。
• 著者らは、今後の研究は、適応的通信戦略、フォールトトレランス、および集中型と分散型のパラダイムを組み合わせたハイブリッドモデルに焦点を当てるべきだと結論づけている。