[論文レビュー] A Survey of Methods for Collective Communication Optimization and Tuning

Udayanga Wickramasinghe, Andrew Lumsdaine|arXiv (Cornell University)|Nov 19, 2016

DNA and Biological Computing参考文献 58被引用数 12

ひとこと要約

本論文では、複数の予測器を組み合わせ、特徴量の次元を低減し、自動的でスケーラブルなパrameterチューニングを可能にする、HPCワークロードにおける集約通信の最適化を目的とした新規ハイブリッド機械学習アーキテクチャUMTACを提案する。組み合わせ的爆発を引き起こすチューニングパrameterの問題を、アンサンブル学習と次元削減によって解決し、エクサスケールシステムに適応可能な堅牢で一般化可能なパフォーマンス予測器の構築を目的としている。

ABSTRACT

New developments in HPC technology in terms of increasing computing power on multi/many core processors, high-bandwidth memory/IO subsystems and communication interconnects, pose a direct impact on software and runtime system development. These advancements have become useful in producing high-performance collective communication interfaces that integrate efficiently on a wide variety of platforms and environments. However, number of optimization options that shows up with each new technology or software framework has resulted in a \emph{combinatorial explosion} in feature space for tuning collective parameters such that finding the optimal set has become a nearly impossible task. Applicability of algorithmic choices available for optimizing collective communication depends largely on the scalability requirement for a particular usecase. This problem can be further exasperated by any requirement to run collective problems at very large scales such as in the case of exascale computing, at which impractical tuning by brute force may require many months of resources. Therefore application of statistical, data mining and artificial Intelligence or more general hybrid learning models seems essential in many collectives parameter optimization problems. We hope to explore current and the cutting edge of collective communication optimization and tuning methods and culminate with possible future directions towards this problem.

研究の動機と目的

• 進化を続けるHPCハードウェアおよびソフトウェアスタックに起因する集約通信におけるチューニングパrameterの組み合わせ的爆発を解決すること。
• 多様な実行環境で良好に動作する汎用的でポータブルな集約通信実装の不足を克服すること。
• 多様なハードウェアおよびアプリケーションコンテキストにわたる最適な集約通信パrameterを予測する統合的でスケーラブルなフレームワークの開発。
• アプリケーションプロトタイピング段階でのパフォーマンスボトルネックの早期検出を可能にする、詳細なパフォーマンスモデリングを通じて。
• エクサスケールワークロードにスケーリング可能な、堅牢で一般化可能な集約演算用の予測モデルの構築。

提案手法

• UMTACベース回帰モデルに、バギングやブースティングなどのアンサンブル学習手法を統合したモジュラーなアーキテクチャを提案。
• 主成分分析（PCA）、因子分析、多次元尺度構成法（MDS）を用いた特徴量低減により、相関性や不要な入力特徴量を除去し、次元削減とモデル効率の向上を実現。
• ランタイムデータとシステムフィードバックを用いて、反復的にモデルを精緻化するためのコンポONENT間のフィードバックループを導入。
• 予測値が閾値基準を満たさない場合に、リファイナを起動するためのモデルバリデータを活用。
• 勾配降下法などの最適化手法を用いて、プロセッサ数や構成に応じた最適パラメータセットを外挿するため、リアクターコアを活用。
• 機械学習およびデータマイニング分野のベストプラクティスを統合し、集約演算用に強力なハイブリッド予測関数を構築。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、多様なHPCプラットフォームにおける集約通信のチューニングパrameterの組み合わせ的爆発を効果的に管理できるか？
• RQ2 どのような機械学習およびデータマイニング手法が、集約通信パフォーマンスに対する堅牢で一般化可能な予測器を生成できるか？
• RQ3 アンサンブル学習と次元削減は、集約通信チューニングモデルの精度とスケーラビリティを向上させることができるか？
• RQ4 統合されたアーキテクチャは、エクサスケールにおける自動的でスケーラブルかつ正確なパラメータ最適化を実現できるか？
• RQ5 このようなシステムは、アプリケーション開発ライフサイクルの初期段階でどれほど効果的にパフォーマンスボトルネックを検出できるか？

主な発見

• UMTACは、複数の学習モデルを統合し、次元削減技術を用いて特徴空間を低次元化することで、集約通信パラメータのスケーラブルかつ自動的なチューニングを実現する。
• 本アーキテクチャは、勾配降下法などの反復的最適化戦略を用いることで、パフォーマンス予測と最適パラメータの外挿の両方をサポートする。
• バギングやブースティングなどのアンサンブル手法を統合することで、多様なハードウェアおよびソフトウェアコンテキストにおいて、予測器の堅牢性と一般化性能が向上する。
• モデルバリデーションコンponentは、予測値をユーザー定義の閾値と比較することで信頼性を確保し、パフォーマンスが不足する場合にはリファイナを起動する。
• リアクターコアコンponentは、大規模で列挙可能なパラメータ空間において、最適パラメータセットを効率的に探索可能であり、迅速なプロトタイピングとボトルネックの早期検出を支援する。
• 提案されたアーキテクチャは、多様な入力特徴量を統合しながら冗長性を排除することで、HPCチューニングにおける特徴量の爆発という根本的課題に対処し、より強固でポータブルな予測器を実現している。