[論文レビュー] DeepIoT: Compressing Deep Neural Network Structures for Sensing Systems with a Compressor-Critic Framework

Shuochao Yao, Yiran Zhao+3 more|arXiv (Cornell University)|Jun 5, 2017

Model Reduction and Neural Networks参考文献 48被引用数 40

ひとこと要約

DeepIoTは、完全結合層、畳み込み層、再帰層を含む多様なニューラルネットワークにわたって不要な隠れユニットをプルーニングする最適なドロップアウト確率を自動的に特定する、コンプレッサー・クリティック学習フレームワークを用いた統合的で構造に配慮した圧縮フレームワークを提案する。本手法は、Intel Edisonなどの埋め込みデバイス上で、モデルサイズを90%〜98.9%まで削減し、推論速度を71.4%〜94.5%まで向上させ、エネルギー消費量を72.2%〜95.7%まで低減するが、精度に損失は生じない。

ABSTRACT

Recent advances in deep learning motivate the use of deep neutral networks in sensing applications, but their excessive resource needs on constrained embedded devices remain an important impediment. A recently explored solution space lies in compressing (approximating or simplifying) deep neural networks in some manner before use on the device. We propose a new compression solution, called DeepIoT, that makes two key contributions in that space. First, unlike current solutions geared for compressing specific types of neural networks, DeepIoT presents a unified approach that compresses all commonly used deep learning structures for sensing applications, including fully-connected, convolutional, and recurrent neural networks, as well as their combinations. Second, unlike solutions that either sparsify weight matrices or assume linear structure within weight matrices, DeepIoT compresses neural network structures into smaller dense matrices by finding the minimum number of non-redundant hidden elements, such as filters and dimensions required by each layer, while keeping the performance of sensing applications the same. Importantly, it does so using an approach that obtains a global view of parameter redundancies, which is shown to produce superior compression. We conduct experiments with five different sensing-related tasks on Intel Edison devices. DeepIoT outperforms all compared baseline algorithms with respect to execution time and energy consumption by a significant margin. It reduces the size of deep neural networks by 90% to 98.9%. It is thus able to shorten execution time by 71.4% to 94.5%, and decrease energy consumption by 72.2% to 95.7%. These improvements are achieved without loss of accuracy. The results underscore the potential of DeepIoT for advancing the exploitation of deep neural networks on resource-constrained embedded devices.

研究の動機と目的

• IoTセンシング応用におけるリソース制約のある埋め込みデバイスに深層ニューラルネットワークをデプロイする際の高いメモリ使用量、エネルギー消費量、遅延の課題に対処すること。
• 完全結合層、畳み込み層、再帰層を含む多様なディープラーニングアーキテクチャに適用可能な統合的圧縮手法を開発すること。
• スパarsityや線形仮定に依存するのではなく、冗長な隠れユニットをプルーニングすることでネットワークパラメータを最小化すること。
• 各隠れユニットの最適なドロップアウト確率を学習するため、コンプレッサー・ネットワークとクリティック・ネットワークを同時に最適化すること。
• ライブラリの変更なしに、圧縮モデルを直接埋め込みシステムにデプロイ可能にすること。

提案手法

• コンプレッサー・クリティックフレームワークを用い、コンプレッサーは各隠れユニットの最適なドロップアウト確率を予測し、クリティックはプルーニング後のネットワークの性能を評価する。
• コンプレッサー・ネットワークは、冗長性を最小限に抑えつつ精度を維持するための強化学習に類似した目的関数を用いて、元のネットワークと同時にエンドツーエンドで訓練される。
• 学習されたドロップアウト確率に従って隠れユニットをドロップアウトすることでプルーニングが行われ、スパースな行列ではなく、より小さな密行列が得られる。
• この手法はアーキテクチャに依存せず、完全結合層、畳み込み層、再帰層のすべてに一貫して適用可能である。
• デプロイの前にワークステーションでファインチューニングが行われ、圧縮モデルがエッジデバイスで即座に利用可能になるようにする。
• 行列因子分解やスパarsity仮定に依存しないため、1次元フィルターや再帰層に対して最適でない可能性がある手法を回避する。

実験結果

リサーチクエスチョン

• RQ1 センシング応用で使用される多様なディープラーニングアーキテクチャにわたって、統合的圧縮フレームワークがモデルサイズを効果的に削減できるか。
• RQ2 コンプレッサー・クリティックフレームワークを用いて最適なドロップアウト確率を学習することで、固定またはヒューリスティックなドロップアウト戦略よりも優れた圧縮効率が得られるか。
• RQ3 隠れユニットの削除による構造的プルーニングが、スパarsityベースや因子分解ベースの圧縮と比較して、埋め込みデバイスにおけるエネルギー消費量と遅延の点で優れているか。
• RQ4 低消費電力プラットフォーム上の実世界のセンシングタスクにおいて、精度を損なわず、どの程度までモデルサイズを削減できるか。
• RQ5 圧縮モデルは、モバイルおよび埋め込みシステム上の既存のディープラーニング推論ライブラリと互換性があるか。

主な発見

• DeepIoTは、Intel Edisonデバイス上で5つのセンシングタスクにわたって、モデルサイズを90%〜98.9%まで削減した。
• 実行時間は、ベースライン手法と比較して71.4%〜94.5%まで短縮された。
• エネルギー消費量は72.2%〜95.7%まで低下し、特にHHARデータセットで最大95.7%の削減が観察された。
• すべてのベースライン、特にSparseSepやその他のスパarsityベースの手法と比較して、速度およびエネルギー効率の両面で優れた性能を示した。
• 圧縮モデルは元の精度を維持しており、冗長性の低減が性能の劣化を引き起こさないことを示した。
• このアプローチは、既存のディープラーニングライブラリと互換性があり、実行時における変更なしに、埋め込みシステムへの直接デプロイが可能である。