[論文レビュー] Collage Inference: Tolerating Stragglers in Distributed Neural Network Inference using Coding.

Krishna Giri Narra, Zhifeng Lin+3 more|arXiv (Cornell University)|Apr 27, 2019

Advanced Neural Network Applications参考文献 32被引用数 6

ひとこと要約

この論文では、分散ニューラルネットワーク推論における遅延ノード（straggler nodes）に耐性を持つために、特別に設計されたコラージュCNNモデルを用いた符号化推論手法「コラージュ推論（Collage Inference）」を提案する。複数の入力画像を1つのコラージュとして処理することで、精度を損なわずにレプリケーションベースの手法と比較して99百分位の遅延を1.45倍から2.46倍まで低減する。

ABSTRACT

MLaaS (ML-as-a-Service) offerings by cloud computing platforms are becoming increasingly popular these days. Pre-trained machine learning models are deployed on the cloud to support prediction based applications and services. For achieving higher throughput, incoming requests are served by running multiple replicas of the model on different machines concurrently. Incidence of straggler nodes in distributed inference is a significant concern since it can increase inference latency, violate SLOs of the service. In this paper, we propose a novel coded inference model to deal with stragglers in distributed image classification. We propose modified single shot object detection models, Collage-CNN models, to provide necessary resilience efficiently. A Collage-CNN model takes collage images formed by combining multiple images as its input and performs multi-image classification in one shot. We generate custom training collages using images from standard image classification datasets and train the model to achieve high classification accuracy. Deploying the Collage-CNN models in the cloud, we demonstrate that the 99th percentile latency can be reduced by 1.45X to 2.46X compared to replication based approaches and without compromising prediction accuracy.

研究の動機と目的

• 分散機械学習推論における遅延ノードの問題に対処すること。これは遅延を増大させ、サービスレベル目標（SLO）を満たさない要因となる。
• クラウドベースのMLaaSデプロイメントにおいて、高い精度を維持しながらスループットを向上させ、遅延を低減するレジリientな推論システムを設計すること。
• 1回の順方向伝搬で複合入力画像を用いて複数の画像分類を実行できる、新しいニューラルネットワークアーキテクチャ「コラージュCNN（Collage-CNN）」を設計すること。
• 実世界の分散推論ワークロードにおいて、従来のレプリケーションベースの手法と比較して、提案手法の性能を評価すること。

提案手法

• 本手法は、複数の画像を1つの合成画像（コラージュ）として提示された場合に、同時に複数の画像を分類できるように学習された変更済みのワンショットオブジェクト検出モデル「コラージュCNN」を導入する。
• 標準の画像分類データセットから、空間的なパディングを用いて複数の画像を1つの入力テンソルに結合することで、カスタムのトレーニングコラージュを生成する。
• モデルはエンドツーエンドに学習され、1回の順方向伝搬でコラージュ内のすべての画像のラベルを予測する。これにより、複数の入力に対して統合された推論が可能になる。
• 符号化理論の原則を活用し、複数の推論タスクを1つの計算に符号化することで、冗長性と回復メカニズムを用いて遅延ノードを耐性可能にする。
• 複数の入力の計算を1つの大きな推論タスクに符号化するコード付き計算戦略を採用し、遅延や遅延の生じるノードからの回復を可能にする。
• クラウド環境へのデプロイにより、システムは高速なノードからの結果のみを用いて推論を完了させ、設計上、遅延ノードを無視できる。

実験結果

リサーチクエスチョン

• RQ1 符号化推論アプローチは、予測精度を損なわせずに分散ニューラルネットワーク推論における遅延を低減できるか？
• RQ2 合成コラージュで学習されたマルチイメージ分類モデルは、個々の入力に対して分類性能をどの程度維持できるか？
• RQ3 実世界の分散推論ワークロードにおいて、コラージュCNNは、レプリケーションベースの戦略と比較して99百分位の遅延をどの程度低減できるか？
• RQ4 冗長性と部分的な計算完了を活用することで、システムは遅延ノードをどのように処理するか？

主な発見

• コラージュ推論アプローチは、分散推論ワークロードにおいて、レプリケーションベースの手法と比較して99百分位の推論遅延を1.45倍から2.46倍まで低減した。
• 本手法は高い分類精度を維持しており、標準の推論ベースラインと比較して劣化は観察されなかった。
• カスタムのトレーニングコラージュの使用により、コラージュCNNモデルは複合入力内の個々の画像に対して良好な一般化性能を示した。
• システムは、高速に動作するノードからの結果を用いて推論を完了させることで、遅延ノードを効果的に耐性し、全体のスループットを向上させた。
• 従来のモデルアーキテクチャーやデータ分布の変更を必要とせず、顕著な遅延低減を達成した。
• 結果から、コラージュ処理による符号化推論は、MLaaSワークロードにおけるレプリケーションの代替手段として実用的で効率的であることが示された。