[論文レビュー] Automating In-Network Machine Learning

Changgang Zheng, Mingyuan Zang+5 more|arXiv (Cornell University)|May 18, 2022

IoT and Edge/Fog Computing被引用数 36

ひとこと要約

Planter は、訓練済みの ML モデルをプログラム可能なネットワーク機器へマッピングするオープンソースのモジュール式フレームワークであり、複数のアーキテクチャとターゲットにわたりラインレートのネットワーク内推論を、最小限の遅延影響と競合的な精度で実現します。

ABSTRACT

Using programmable network devices to aid in-network machine learning has been the focus of significant research. However, most of the research was of a limited scope, providing a proof of concept or describing a closed-source algorithm. To date, no general solution has been provided for mapping machine learning algorithms to programmable network devices. In this paper, we present Planter, an open-source, modular framework for mapping trained machine learning models to programmable devices. Planter supports a wide range of machine learning models, multiple targets and can be easily extended. The evaluation of Planter compares different mapping approaches, and demonstrates the feasibility, performance, and resource efficiency for applications such as anomaly detection, financial transactions, and quality of experience. The results show that Planter-based in-network machine learning algorithms can run at line rate, have a negligible effect on latency, coexist with standard switching functionality, and have no or minor accuracy trade-offs.

研究の動機と目的

• これまでの概念実証を超える、一般的で再現可能なネットワーク内MLマッピングソリューションの必要性を喚起する。
• 複数の ML モデル、アーキテクチャ、およびターゲットをネットワーク内推論でサポートする、モジュール式のフレームワーク（Planter）を提供する。
• データセットの学習からプログラム可能なネットワーク機器へのデプロイまで、エンドツーエンドの自動化を可能にする。
• 代表的なユースケースで、Planterの性能、リソース使用量、スケーラビリティを評価する。

提案手法

• Planter のモジュラーアーキテクチャと、データのロードと訓練からP4コード生成とデプロイメントまでの七段階のワークフローを導入する。
• エンコードベース、ルックアップベース、および直接マッピング戦略を用いて、SVM、KM、DT、NB、RF、XGB、NN、PCA、AE などの幅広いMLモデルを実装する。
• 専用のP4ジェネレータとコンパイラパイプラインを介して、3つのP4アーキテクチャ/ターゲット（TNA、v1model、PSA with Tofino、BMv2、P4Pi）へモデルをマッピングする。
• ターゲットハードウェアへのデプロイを検証するための、モデル変換、テーブル生成、テストスクリプト作成の自動化ツールを提供する。
• 機能性、リソース、スループット、精度の観点で、マッピング手法の比較と評価を提供する。

実験結果

リサーチクエスチョン

• RQ1 Planterは、パフォーマンスを維持しつつ、幅広いMLモデルを複数のプログラム可能なネットワークターゲットへ普遍的にマップできるのか。
• RQ2 商用スイッチおよびNIC上でのPlanterマップ済みのネットワーク内MLのスループットとレイテンシの影響はどのようか。
• RQ3 エンコードベース、ルックアップベース、直接マッピングの異なる戦略は、リソース使用量と精度の点でどう比較されるか。
• RQ4 異常検知、金融取引、QoE などのユースケースで、Planter生成のネットワーク内MLモデルがサーバーサイドの精度とスケーラビリティをどの程度維持するか。
• RQ5 新しいモデル、アーキテクチャ、ターゲットの追加に対するPlanterの使いやすさ、モジュラリティ、および拡張性はどの程度か。

主な発見

• Planter は、商用スイッチ（Tofino）でラインレートのネットワーク内MLアルゴリズムを実行できるようにする。
• Planterベースのマッピングは遅延オーバーヘッドがほとんどなく、標準のスイッチ機能と共存する。
• ほとんどのPlanterマッピングアルゴリズムはサーバーサイドの精度を達成するか、同等のモデルサイズでわずかな精度低下のみを生じる。
• Planterは、モジュール式で拡張可能な設計により、複数のアーキテクチャとターゲットにわたる幅広いMLモデルとマッピングをサポートする。
• このフレームワークは、異常検知、金融取引、QoE予測などの実用的なユースケースに対する実現可能性とリソース効率を示している。