[論文レビュー] Where to Split? A Pareto-Front Analysis of DNN Partitioning for Edge Inference

Adiba Masud, Nicholas Foley+2 more|arXiv (Cornell University)|Jan 12, 2026

Advanced Neural Network Applications被引用数 0

ひとこと要約

論文はParetoPipeを紹介する。エッジ推論のDNNパーティショニングをマルチオブジェクティブ問題として扱い、異種のエッジ機器とネットワーク条件の下で遅延とスループットのParetoフロンティアをマッピングするオープンソースフレームワーク。

ABSTRACT

The deployment of deep neural networks (DNNs) on resource-constrained edge devices is frequently hindered by their significant computational and memory requirements. While partitioning and distributing a DNN across multiple devices is a well-established strategy to mitigate this challenge, prior research has largely focused on single-objective optimization, such as minimizing latency or maximizing throughput. This paper challenges that view by reframing DNN partitioning as a multi-objective optimization problem. We argue that in real-world scenarios, a complex trade-off between latency and throughput exists, which is further complicated by network variability. To address this, we introduce ParetoPipe, an open-source framework that leverages Pareto front analysis to systematically identify optimal partitioning strategies that balance these competing objectives. Our contributions are threefold: we benchmark pipeline partitioned inference on a heterogeneous testbed of Raspberry Pis and a GPU-equipped edge server; we identify Pareto-optimal points to analyze the latency-throughput trade-off under varying network conditions; and we release a flexible, open-source framework to facilitate distributed inference and benchmarking. This toolchain features dual communication backends, PyTorch RPC and a custom lightweight implementation, to minimize overhead and support broad experimentation.

研究の動機と目的

• エッジ推論のためのDNNパーティショニングを、遅延とスループットをバランスさせるマルチオブジェクティブ最適化問題として再構成する。
• 異種のエッジ機器上でパイプライン分割推論をベンチマークし、Pareto最適フロンティアをマッピングする。
• ネットワーク遅延と帯域幅の変動下で、パーティショニング戦略のロバスト性を評価する。
• 分散推論のベンチマークと分析を可能にするオープンソースフレームワークを提供する。

提案手法

• ParetoPipeを提案。エッジデバイス間でDNNを分割する拡張可能なフレームワークで、パイプライン並列性を使用。
• デュアル通信バックエンドを実装。PyTorch RPCとカスタムの軽量TCPソケットバックエンドを用いてオーバーヘッドを検討。
• 6つのCNNモデルでブロック単位の実行時間をプロファイルし、最適な分割点を同定。
• Pi-to-PiおよびPi-to-GPU構成で網羅的な分割点テストを実施し、遅延-スループットのParetoフロンティアを生成。
• tcを用いて悪条件のネットワークをシミュレートし、遅延/帯域幅制約下でフロンティアのシフトを検討。
• カスタムバックエンドをPyTorch RPCと比較し、オーバーヘッドとパフォーマンスの差を定量化。

実験結果

リサーチクエスチョン

• RQ1 エッジ推論のDNNパーティショニングを、遅延とスループットをバランスさせるマルチオブジェクティブ最適化問題としてどのように分析できるか？
• RQ2 異種のエッジ機器上で一般的なCNNモデルのPareto最適分割点は何か？
• RQ3 ネットワーク遅延と帯域幅の制約は遅延-スループットフロンティアをどうシフトさせ、パーティショニングの意思決定にどう影響するか？
• RQ4 分散推論でカスタムソケットベースのバックエンドを使用する場合の性能影響は、PyTorch RPCとどう異なるか？
• RQ5 ブロックレベルのプロファイリングは、モデルと構成全体で最適な分割戦略にどう影響するか？

主な発見

Model (Split)	Pi1-Exe(s)	Pi2-Exe(s)	Net-time(s)	Pi1-CPU Util(%)	Pi2-CPU Util(%)	Pi1 Mem(%)	Pi2 Mem(%)
AlexNet (P10)	0.451	0.427	0.050	272.7	271.9	24.84	21.76
AlexNet (P11)	0.419	0.379	0.045	347.7	271.9	21.72	20.36
InceptionV3 (P10)	2.873	2.766	0.055	328.8	322.7	22.24	20.76
InceptionV3 (P19)	5.791	0.002	0.040	345.9	0.19	19.48	20.20
MobileNetV2 (P3)	0.969	0.941	0.048	281.2	309.6	18.51	16.16
MobileNetV2 (P17)	1.818	0.065	0.049	311.9	12.1	16.84	15.39
ResNet18 (P2)	0.699	0.846	0.043	296.7	329.8	20.21	16.73
ResNet18 (P6)	1.290	0.278	0.046	351.7	76.2	17.33	16.58
ResNet50 (P5)	2.690	2.650	0.052	342.2	336.0	23.65	19.29
ResNet50 (P15)	5.233	0.196	0.041	360.4	14.0	19.48	18.74
VGG16 (P14)	6.827	6.319	0.056	328.9	305.7	35.43	32.87
VGG16 (P29)	13.37	0.894	0.044	347.6	19.3	33.95	34.76

• ParetoFrontiersはPi-to-PiとPi-to-GPUの展開で異なる最適分割点を示し、MobileNetV2や類似モデルはPi-to-Piで非対称分割を好み、GPUが関与するとよりオフロード寄りになる。
• 現実的なネットワーク制約下ではフロンティアがエッジ側の計算へと移動し、データ転送のオーバーヘッドが高いとGPUオフロードの利益が低下する。
• カスタムソケットベースのバックエンドはエンドツーエンドのレイテンシを大幅に削減（MobileNetV2のスループット例で最大76%）し、スループットを最大53%向上させるのに対し、PyTorch RPCと比較。
• ブロック単位のプロファイリングにより、すべてのブロックが等しくコスト高ではなく、計算とデバイス間通信のバランスをとる分割点を導く。
• ネットワーク条件は第一級のボトルネックであり、高遅延/低帯域はデータ転送オーバーヘッドのためGPUアクセラレーションを効果的でなくする可能性がある。
• ネットワークボトルネック下ではParetoフロンティアがまばらになり、ネットワーク対応の適応分割の必要性を強調する。