[論文レビュー] Ternary Hybrid Neural-Tree Networks for Highly Constrained IoT Applications

Dibakar Gope, Ganesh Dasika+1 more|arXiv (Cornell University)|Apr 15, 2019

Advanced Neural Network Applications被引用数 7

ひとこと要約

本稿では、三値量子化を用いて計算およびメモリのオーバーヘッドを低減する、ニューラルネットワークと意思決定ツリーを組み合わせた三値ハイブリッドニューラルツリー・ネットワークを提案する。この手法により、最先端のキーワード検出用ニューラルネットワークと比較して、計算量は11.1%削減され、モデルサイズは52.2%小さくなり、メモリフットプリントは30.6%小さくなったが、精度の損失は無視できるほど小さい。

ABSTRACT

Machine learning-based applications are increasingly prevalent in IoT devices. The power and storage constraints of these devices make it particularly challenging to run modern neural networks, limiting the number of new applications that can be deployed on an IoT system. A number of compression techniques have been proposed, each with its own trade-offs. We propose a hybrid network which combines the strengths of current neural- and tree-based learning techniques in conjunction with ternary quantization, and show a detailed analysis of the associated model design space. Using this hybrid model we obtained a 11.1% reduction in the number of computations, a 52.2% reduction in the model size, and a 30.6% reduction in the overall memory footprint over a state-of-the-art keyword-spotting neural network, with negligible loss in accuracy.

研究の動機と目的

• パワー制限およびストレージ制限のあるIoTデバイスに現代のニューラルネットワークをデプロイする課題に対処すること。
• エッジAIアプリケーションにおいて高い精度を維持しつつ、計算複雑性とメモリフットプリントを低減すること。
• IoTワークロードを想定した、ハイブリッドニューラルツリー・アーキテクチャと三値量子化を組み合わせた設計空間を調査すること。
• パフォーマンスを損なわず、顕著なモデル圧縮と効率性の向上を達成すること。

提案手法

• 本手法は、表現力に優れたディープラーニングとツリー型モデルの効率性を活かすために、順伝播型ニューラルネットワークと意思決定ツリーを統合したハイブリッドアーキテクチャを構築する。
• 重みと活性化値に三値量子化を適用し、精度を-1、0、+1に制限することで、メモリと計算量を最小限に抑える。
• モデルは、サンプルがニューラル部とツリー部のどちらにより適切に分類されるかを学習できる微分可能ルーティング機構を用いてエンドツーエンドで訓練される。
• 構造的プルーニングと量子化を活用してモデル圧縮を達成し、FLOPsとパラメータ数の最小化に注力する。
• 異なるIoTデプロイメント環境における精度、モデルサイズ、推論速度のバランスを最適化するため、設計空間を体系的に分析する。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドニューラルツリー・アーキテクチャは、極めて制限されたIoT環境でどのように効率性を向上させ得るか？
• RQ2 ニューラルネットワークと意思決定ツリーを統合する際、モデルサイズ、計算量、精度の間で最適なトレードオフは何か？
• RQ3 三値量子化は、パフォーマンスの低下を招かずに、どれほどメモリと計算量を削減できるか？
• RQ4 ニューラル部とツリー部の統合は、推論速度とエネルギー効率にどのように影響を与えるか？

主な発見

• 提案されたハイブリッドネットワークは、最先端のキーワード検出用ニューラルネットワークと比較して、計算量を11.1%削減した。
• ベースラインのニューラルネットワークと比較して、モデルサイズは52.2%小さくなった。
• 精度の損失は無視できるほど小さいが、全体のメモリフットプリントは30.6%小さくなった。
• 三値量子化とハイブリッドアーキテクチャの組み合わせにより、顕著な圧縮が達成され、パフォーマンスの劣化は最小限に抑えられた。