[論文レビュー] Parallel Local Search: Experiments with a PGAS-based programming model

Rui Machado, Salvador Abreu+1 more|arXiv (Cornell University)|Jan 31, 2013

Constraint Satisfaction and Optimization参考文献 13被引用数 5

ひとこと要約

本稿では、GPIプログラミングモデルを用いたPGASベースの並列化により、適応的探索（Adaptive Search）局所探索アルゴリズムの新規実装を提示している。これにより、大規模システム上での効率的かつスケーラブルな実行が可能になった。本手法は、有望な設定を知的に伝搬することで、特定のベンチマークにおいて最大2倍の高速化を達成しており、性能向上は周囲の密度や局所的最小値の数といった問題固有の特性に強く依存する。

ABSTRACT

Local search is a successful approach for solving combinatorial optimization and constraint satisfaction problems. With the progressing move toward multi and many-core systems, GPUs and the quest for Exascale systems, parallelism has become mainstream as the number of cores continues to increase. New programming models are required and need to be better understood as well as data structures and algorithms. Such is the case for local search algorithms when run on hundreds or thousands of processing units. In this paper, we discuss some experiments we have been doing with Adaptive Search and present a new parallel version of it based on GPI, a recent API and programming model for the development of scalable parallel applications. Our experiments on different problems show interesting speedups and, more importantly, a deeper interpretation of the parallelization of Local Search methods.

研究の動機と目的

• 大規模なマルチコアシステムにおける局所探索アルゴリズムのスケーラビリティ制限を解消すること。
• 異なる問題特性が並列局所探索の性能に与える影響を調査すること。
• GPIプログラミングモデルを用いて、Adaptive Searchのための新しい通信および負荷分散戦略を設計・評価すること。
• 多様な組合せ最適化問題を対象とした実験的結果に基づき、局所探索手法の並列化に関するより深い洞察を提供すること。

提案手法

• 著者らは、GPI（Global address space Programming Interface）APIを用いて、PGASベースのモデルである一方向非ブロッキングメモリ操作をサポートする、Adaptive Searchアルゴリズムの新規並列版を実装した。
• 本手法は、有望な設定をスレッド間で共有することで協調的探索を可能にする、新規の通信スキーム「Propagate-Optimize-Collect（PoC）」を導入している。
• GPIの一方的通信およびRDMAを介したネットワークアクセスにより、CPUの干渉なしに効率的なリモートメモリアクセスが可能となり、スケーラビリティが向上し、同期オーバーヘッドが低減される。
• 各スレッドが受信した状態から独立して探索を行うことで、重複作業を回避する設計となっている。
• マルチコアアーキテクチャを効率的に活用するため、Manycore Threading Package（MCTP）を用いたスレッドプールを採用している。
• 実験は、マジック・スクエア、コスタス・アレイ、オール・インターバル・シリーズの3つのベンチマーク問題で実施され、独立したマルチウォークおよびTDOバージョンと性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 異なる構造的性質を有する組合せ最適化問題において、並列局所探索の性能はどのように変化するか？
• RQ2 PoCによる設定伝搬が、局所探索アルゴリズムのスケーラビリティおよびスルーブプットに与える影響は何か？
• RQ3 近傍の密度、局所的最小値の数、部分的リセットの有無といった特性が、協調的並列化の有効性にどのように影響を与えるか？
• RQ4 GPIプログラミングモデルは、最小限の同期オーバーヘッドでスケーラブルかつ高性能な局所探索を効果的にサポートできるか？
• RQ5 負荷分散と重複の観点から、独立探索と設定共有戦略の間にはどのようなトレードオフがあるか？

主な発見

• マジック・スクエア問題では、近傍が密で局所的最小値が少ないため、PoCバージョンが最大2倍の高速化を達成した。これは、協調的探索が効果を発揮したためである。
• コスタス・アレイ問題では、局所的最小値が多く、近傍が疎であるため、PoCバージョンは性能を発揮しなかった。これは、重複作業が生じ、設定伝搬による利益が限定的だったためである。
• オール・インターバル・シリーズ問題では、低コア数ではオーバーヘッドのためPoCが劣っていたが、スケーリングが進むと性能が向上した。これは、多様化によって並列コストが相殺されたためである。
• TDOバージョンは、コスタス・アレイ問題においてより優れたスケーラビリティを示した。コア数を増やすことで、過度な重複を伴わずに広範な探索空間をカバーできるようになった。
• 性能向上は問題構造と強く相関しており、近傍が密な問題では協調的探索が有利であり、疎または高次元のマルチモーダル問題では独立探索が好ましい。
• 本研究は、効果的な局所探索の並列化には、通信戦略と問題固有の特性（近傍の密度、局所的最小値の頻度など）の整合性が不可欠であることを示している。