[論文レビュー] Collie: Finding Performance Anomalies in RDMA Subsystems

Xinhao Kong, Yibo Zhu+5 more|arXiv (Cornell University)|Apr 22, 2023

Software System Performance and Reliability被引用数 6

ひとこと要約

Collieは、応用ワークロード空間を探索し、ハードウェアカウンターを極端な値へと駆り立てるための焼きなまし法を用いて、RDMAサブシステムにおけるパフォーマンス異常を体系的かつ自動的に特定するツールである。本研究では、以前に発見されていなかった15件の異常を同定した。そのうち7件は、報告後にベンダーによって修正された。

ABSTRACT

High-speed RDMA networks are getting rapidly adopted in the industry for their low latency and reduced CPU overheads. To verify that RDMA can be used in production, system administrators need to understand the set of application workloads that can potentially trigger abnormal performance behaviors (e.g., unexpected low throughput, PFC pause frame storm). We design and implement Collie, a tool for users to systematically uncover performance anomalies in RDMA subsystems without the need to access hardware internal designs. Instead of individually testing each hardware device (e.g., NIC, memory, PCIe), Collie is holistic, constructing a comprehensive search space for application workloads. Collie then uses simulated annealing to drive RDMA-related performance and diagnostic counters to extreme value regions to find workloads that can trigger performance anomalies. We evaluate Collie on combinations of various RDMA NIC, CPU, and other hardware components. Collie found 15 new performance anomalies. All of them are acknowledged by the hardware vendors. 7 of them are already fixed after we reported them. We also present our experience in using Collie to avoid performance anomalies for an RDMA RPC library and an RDMA distributed machine learning framework.

研究の動機と目的

• RNICとサーバーハードウェアの複雑な相互作用に起因する、RDMAサブシステムにおけるパフォーマンス異常を検出するという、極めて重要なニーズに対応する。
• 基本的なベンチマークや実アプリケーションワークロードに依存する伝統的なテスト手法では、微細でワークロード依存の異常を特定できないという限界を克服する。
• システム管理者やアプリケーション開発者が、本番環境へのデプロイ前にパフォーマンス異常を事前に特定・回避できるようにする。
• 異常発生のトリガー要因に関する実用的で具体的な知見を提供し、RDMAベースのシステムにおけるアプリケーションレベルの設計意思決定を支援する。

提案手法

• メモリタイプ、接続数、トランスポートタイプなどの制御可能なパrameterに注目し、開発者の視点から包括的なワークロード探索空間を構築する。
• ベンダーが提供するパフォーマンスおよび診断用カウンター（例：PFCパージフレーム、スループット）を最適化のフィードバック信号として活用する。
• 焼きなまし法を用いて探索プロセスをガイドし、反復的にワークロードを変異させることで、異常を示す極端な値にカウンターを誘導する。
• 検出された異常の発生条件を用いて、重複するテストを回避するとともに、アプリケーション開発者が問題のある構成を避けるための知見を提供する。
• ハードウェアカウンターのモニタリングを探索ループに統合し、多次元のワークロード空間に対するデータドリブンな探索を可能にする。
• 8台の一般用途RDMAサブシステム（多様なRNIC、CPU、サーバー構成を含む）を用いた実環境評価を通じて、結果の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 標準的なベンチマークや実世界のワークロードでは発動しない、RDMAサブシステムにおけるパフォーマンス異常を、体系的かつ自動化されたアプローチで効果的に特定できるか？
• RQ2 内部ハードウェア設計やソースコードにアクセスできない状況でも、パフォーマンス異常を検出できるか？
• RQ3 ハードウェアカウンターのフィードバックに基づく焼きなまし法は、RDMAアプリケーションワークロードの複雑で多次元的な空間を、どの程度効率的に探索できるか？
• RQ4 RDMAサブシステムの異常を引き起こす主なトリガー条件は何か？また、それらは異なるハードウェア構成にわたって一般化可能か？
• RQ5 同定された異常を応用開発に活用し、ベンダーのパッチリリース前にパフォーマンス問題を回避できるか？

主な発見

• Collieは、8種類の一般用途ハードウェア構成にまたがるRDMAサブシステムにおいて、全15件の新しいパフォーマンス異常を特定した。これらはすべてハードウェアベンダーによって認識された。
• 15件の異常のうち7件はバグとして確認され、研究者らの報告後にベンダーによってすでに修正済みである。
• Perftestのような標準ベンチマークでは発動しなかった異常を同定した。これは、従来のテスト手法では見逃されがちなエッジケースを同定できる能力を示している。
• 異常には、特定のアプリケーションワークロード、NUMA設定、ハードウェアコンponentの組み合わせ下で、予期しない低スループットやPFCパージフレームの嵐が発生するものも含まれた。
• Collieのアプローチにより、開発チームはベンダーのパッチリリース前に、RDMA RPCライブラリおよび分散機械学習フレームワークの修正を実施し、既知の異常を回避できた。
• ハードウェアカウンターのフィードバックを用いた焼きなまし法の活用により、ワークロード空間のランダムまたは無差別な探索に比べ、探索の効率が著しく向上した。