[論文レビュー] Flexible Deep Neural Network Processing

Hokchhay Tann, Soheil Hashemi+1 more|arXiv (Cornell University)|Jan 23, 2018

Advanced Neural Network Applications参考文献 10被引用数 5

ひとこと要約

この論文では、信頼度マージンを評価するメタリーダーを用いて、推論をいつ停止するかを動的に決定する柔軟なディープニューラルネットワーク（DNN）アンサンブル処理技術を提案している。ImageNetを用いたAlexNetおよびResNet-50において、完全なアンサンブル推論と比較して、最大2倍の遅延低減が達成され、精度低下はたった0.1%にとどまる。

ABSTRACT

The recent success of Deep Neural Networks (DNNs) has drastically improved the state of the art for many application domains. While achieving high accuracy performance, deploying state-of-the-art DNNs is a challenge since they typically require billions of expensive arithmetic computations. In addition, DNNs are typically deployed in ensemble to boost accuracy performance, which further exacerbates the system requirements. This computational overhead is an issue for many platforms, e.g. data centers and embedded systems, with tight latency and energy budgets. In this article, we introduce flexible DNNs ensemble processing technique, which achieves large reduction in average inference latency while incurring small to negligible accuracy drop. Our technique is flexible in that it allows for dynamic adaptation between quality of results (QoR) and execution runtime. We demonstrate the effectiveness of the technique on AlexNet and ResNet-50 using the ImageNet dataset. This technique can also easily handle other types of networks.

研究の動機と目的

• リアルタイムおよびリソース制限のあるシステムにDNNアンサンブルをデプロイする際の高い推論遅延と計算コストに対処すること。
• 結果の品質（QoR）と実行時間の間のトレードオフを克服し、DNN推論における動的適応を可能にすること。
• 予測の信頼度が高くなった時点で推論を早期終了できる柔軟な計算フレームワークを開発すること。
• このアプローチが完全なアンサンブルの精度的利益の大部分を維持しながら、平均推論時間を顕著に短縮できることを示すこと。

提案手法

• 各DNN推論ステップの後にスコアマージン（上位2つのソフトマックス確率の差）を評価するメタリーダーを導入すること。
• しきい値に基づく早期停止メカニズムを採用：スコアマージンが動的に設定されたしきい値を超えると、推論が停止し、現在の予測が返される。
• 遅延と精度損失の両方をバランスさせる組み合わせ目的関数を最小化するために、アンサンブルサイズごとに異なるしきい値を経験的にグリッドサーチで設定すること。
• 目的関数を $ M = \alpha \cdot R + (1 - \alpha) \cdot E $ として定義する。ここで $ R $ は遅延、$ E $ は完全なアンサンブルと比較した相対的誤差の増加である。
• 1つのGPU上で逐次的に適用することで、1度に1つのDNNしか実行できない低リソースプラットフォームでも評価が可能になるようにすること。
• 出力スコアの後処理でマージンを計算し、値が[0,1]の範囲に収まるようにすることで、一貫性のあるしきい値設定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 DNNアンサンブルにおける動的早期停止は、顕著な精度劣化を伴わずに平均推論遅延を短縮できるか？
• RQ2 異なる信頼度しきい値設定における推論遅延と精度のトレードオフはどのように変化するか？
• RQ3 柔軟なアンサンブル処理は、計算負荷を低減しつつ、完全なアンサンブルの精度的利益をどの程度維持できるか？
• RQ4 提案手法は、AlexNetやResNet-50のような異なるDNNアーキテクチャに一般化可能か？
• RQ5 遅延と精度損失の組み合わせコストを最小化する最適なしきい値設定は何か？

主な発見

• 7個のDNNを含むAlexNetでは、柔軟な処理により平均推論遅延が11.67 msから6.51 msに低下し、50%の短縮が達成された。精度は完全なアンサンブル実行時の0.6043と比較して0.6032を維持した。
• AlexNetのケースでは精度低下がたった0.1%にとどまり、顕著な遅延低減にもかかわらず、性能損失は最小限であった。
• この手法により、しきい値の調整によって遅延と精度のバランスを自在に制御可能であり、完全な早期停止を無効化することで精度損失をゼロに保つ選択肢も提供される。
• この手法は、ImageNetデータセットを用いたAlexNetおよびResNet-50の両方で有効であることが示された。
• 低計算コストと逐次実行との互換性があるため、組み込みプラットフォームやデータセンターを含む幅広いシステムに適用可能である。
• この手法は、他のニューラルネットワークタイプや機械学習モデルへも拡張可能であり、リソース制限のある推論に汎用的なソリューションを提供する。