[論文レビュー] Compressing Representations for Embedded Deep Learning

Juliano S. Assine, Alan Godoy+1 more|arXiv (Cornell University)|Nov 23, 2019

IoT and Edge/Fog Computing参考文献 12被引用数 4

ひとこと要約

本稿では、中間特徴表現を圧縮することで、エッジとクラウドにMobileNetV2を分割する分散ディープラーニング推論フレームワークを提案する。PCAに基づく圧縮を用いて通信コストを最小化し、ネットワークの中程度の層に位置する「最適な地点」を同定する。ここでは、精度を最大限に保ちながら帯域幅を最小化できる。理論的整合性は情報ボトルネック原理と一致し、実験的結果ではJPEG圧縮入力と比較して顕著な帯域幅削減が確認された。

ABSTRACT

Despite recent advances in architectures for mobile devices, deep learning computational requirements remains prohibitive for most embedded devices. To address that issue, we envision sharing the computational costs of inference between local devices and the cloud, taking advantage of the compression performed by the first layers of the networks to reduce communication costs. Inference in such distributed setting would allow new applications, but requires balancing a triple trade-off between computation cost, communication bandwidth, and model accuracy. We explore that trade-off by studying the compressibility of representations at different stages of MobileNetV2, showing those results agree with theoretical intuitions about deep learning, and that an optimal splitting layer for network can be found with a simple PCA-based compression scheme.

研究の動機と目的

• 組み込みシステムにおける計算能力、メモリ、ネットワーク帯域幅の制限に起因するディープラーニングの導入課題に対処すること。
• クラウドに推論の一部をオフロードすることで、IoTにおける実時間対応のコンピュータビジョン応用を可能にすること。
• 分散推論における、デバイス上の計算コスト、ネットワーク帯域幅使用量、モデル精度のトレードオフを最小限に抑えること。
• 圧縮効率と予測性能のバランスを最適化するモデル分割点（層k）を特定すること。
• 情報理論的直感、特に情報ボトルネックに関する理論的考察を、実世界のディープラーニング表現に対して検証すること。

提案手法

• 本手法は、MobileNetV2の推論を2段階に分割する：エッジデバイス上で層kまでをローカル処理し、残りをクラウドで処理する。
• 層kにおける中間特徴マップは、ブロック化された主成分分析（PCA）を用いて圧縮され、その後量子化およびハフマン符号化が施される。
• 帯域幅、精度、計算コストのトレードオフを評価するために、MobileNetV2の異なる層に圧縮スキームを適用する。
• 情報ボトルネックの理論的知見を活用し、より深い層の表現は既に圧縮されており、さらなる圧縮に適さないことを考慮する。
• 異なる分割点kを用いて、ImageNet上で最高精度のMobileNetV2設定（α=1.0、入力サイズ=224）を評価する。
• 帯域幅コストは、JPEG圧縮画像を送信する場合を基準として測定し、比較の基盤を確立する。

実験結果

リサーチクエスチョン

• RQ1 ディープニューラルネットワークのどこに、分散推論における表現の圧縮可能性と予測精度の最適なトレードオフが存在するか？
• RQ2 中間特徴のPCAベースの圧縮は、モデル精度を劣化させることなく通信コストを顕著に削減できるか？
• RQ3 情報ボトルネックやディープ表現の線形化といった理論的原則は、圧縮された特徴表現における実験的結果とどの程度整合するか？
• RQ4 中間特徤の圧縮により、従来は帯域幅や計算制約のため実現不可能とされていた組み込みディープラーニング応用が可能になるか？
• RQ5 モデルアーキテクチャと入力表現の特性は、エッジ・クラウド推論における中間特徴圧縮の有効性にどのような影響を与えるか？

主な発見

• MobileNetV2の中程度の層に「最適な地点」が明確に特定され、ここでは帯域幅削減と精度保持の両立が図れる。
• 中間特徴のPCAベースの圧縮により、通信コストがJPEG圧縮画像を送信する場合の10％未満にまで低下した。単純な圧縮スキームにもかかわらず顕著な効果を示した。
• 初期層はPCAでは圧縮が困難で、JPEGなどの複雑な手法を要する一方、後続層は既に高圧縮状態にあり、さらなる圧縮に敏感であることが判明した。
• 結果は情報ボトルネック理論と強く整合しており、入力と表現間の相互情報量が層の深さとともに減少していることが示された。これは、データ構造が複雑になる中でも同様に成立する。
• エッジデバイスにおける圧縮の計算オーバーヘッドは、ディープラーニング推論のコストに比べて無視できるほど小さく、実世界の展開に適していることがわかった。
• 理論的知見と実用的圧縮技術の統合により、組み込みおよびIoTシステムにおける効率的でスケーラブルかつ高精度な分散推論が実現可能であると示された。