[論文レビュー] Parallel Genetic Algorithm to Solve Traveling Salesman Problem on MapReduce Framework using Hadoop Cluster

Harun Rasit Er, Nadia Erdoğan|arXiv (Cornell University)|Jan 24, 2014

Metaheuristic Optimization Algorithms Research参考文献 7被引用数 6

ひとこと要約

本稿では、Hadoop MapReduceフレームワーク上で実装された並列遺伝的アルゴリズム（PGA）を提案し、NP困難な巡回セールスマン問題（TSP）を解く。遺伝的アルゴリズムの集団の進化をHadoopクラスタに分散させることで、収束を加速しスケーラビリティを向上させ、特に大規模なTSPインスタンスにおいて、逐次的GAに比べて計算時間を短縮し、解の品質を向上させた。

ABSTRACT

Traveling Salesman Problem (TSP) is one of the most common studied problems in combinatorial optimization. Given the list of cities and distances between them, the problem is to find the shortest tour possible which visits all the cities in list exactly once and ends in the city where it starts. Despite the Traveling Salesman Problem is NP-Hard, a lot of methods and solutions are proposed to the problem. One of them is Genetic Algorithm (GA). GA is a simple but an efficient heuristic method that can be used to solve Traveling Salesman Problem. In this paper, we will show a parallel genetic algorithm implementation on MapReduce framework in order to solve Traveling Salesman Problem. MapReduce is a framework used to support distributed computation on clusters of computers. We used free licensed Hadoop implementation as MapReduce framework.

研究の動機と目的

• 大規模TSPインスタンスを解く際の逐次的遺伝的アルゴリズムの計算非効率性を是正すること。
• 分散実行のためのスケーラビリティに優れたHadoop MapReduceフレームワークを活用し、進化的計算を実行すること。
• クラスタノード間で集団の進化を効率的に管理する並列遺伝的アルゴリズムを設計および実装すること。
• 大規模TSPデータセットにおける解の品質と実行時間の観点から、提案されたPGAのパフォーマンスを評価すること。
• GAとHadoopのようなビッグデータフレームワークを組み合わせることで、組合せ最適化に応用可能な実現可能性と利点を示すこと。

提案手法

• 提案手法は、Hadoop MapReduceフレームワークを用いて、クラスタ内の複数のノードに遺伝的アルゴリズムの集団を分散させる。
• 各MapReduceジョブは、逐次的に集団の一部に対して選択、交差、突然変異の操作を並列で実行する。
• マップフェーズでは、親解に対して遺伝的演算子を適用して新たな後代を生成するが、リダスフェーズでは新しい集団の適応度を統合・評価する。
• 適応度評価は、総巡回路長に基づき、短い巡回路がより高い適応度スコアを受ける。
• 本アルゴリズムはステディステート置換戦略を用い、世代を超えて最高の解のみを保持する。
• 実装は、標準のHDFSをデータストレージに、YARNをリソース管理に使用する、フリーなHadoopディストリビューションに基づいている。

実験結果

リサーチクエスチョン

• RQ1 MapReduceフレームワーク上での並列遺伝的アルゴリズムは、大規模TSPインスタンスに効果的にスケーリング可能か？
• RQ2 提案されたPGAの性能は、解の品質と収束速度の観点から、逐次的GAに比べてどのように異なるか？
• RQ3 データパーティショニングと負荷分散は、分散GA実行の効率にどのような影響を及えるか？
• RQ4 HadoopベースのPGAは、計算時間を短縮すると同時に、解の品質を維持または向上させるか？
• RQ5 異なるサイズのTSPベンチマークインスタンスにおいて、アルゴリズムはどのように性能を発揮するか？

主な発見

• 提案されたPGAは、特に大規模TSPインスタンスにおいて、逐次的GAに比べて収束が速く、実行時間が短縮された。
• 巡回路長を指標とする解の品質は、一貫して逐次的GAと同等またはそれ以上であり、特に大規模な問題セットでは改善が確認された。
• MapReduceベースの実装は、クラスタサイズの増加に伴い効果的にスケーリングされ、大規模な集団に対して計算時間の線形スルーレットが示された。
• 分散処理の活用により、単一マシンの逐次的アプローチでは不可能だったより大規模なTSPインスタンスの処理が可能になった。
• フレームワークは、さまざまなTSPベンチマークで高い解の品質を維持し、限られた計算リソース下でも頑健であった。
• 実装は、Hadoopのフェイルセーフ機能とデータローカリティの特徴を効果的に活用し、分散実行の信頼性を向上させた。