[論文レビュー] Real-time convolutional networks for sonar image classification in low-power embedded systems.

Matías Valdenegro-Toro|arXiv (Cornell University)|Jan 1, 2017

Underwater Acoustics Research被引用数 3

ひとこと要約

本稿では、低消費電力の組み込みシステム向けに、軽量でリアルタイムな畳み込みニューラルネットワークを提案する。Fireベースのモジュールおよび独自のTinyモジュール内で積極的なマックスプーリングを適用することで、パrameter数を削減し、推論速度を向上させる。本手法は、Raspberry Pi 2上で96×96のソナー画像に対して98.8–99.7%の精度を達成し、41–61ミリ秒の推論時間で処理が可能であり、ベースラインモデルと比較して19.7–28.6倍の高速化を実現する。

ABSTRACT

Deep Neural Networks have impressive classification performance, but this comes at the expense of significant computational resources at inference time. Autonomous Underwater Vehicles use low-power embedded systems for sonar image perception, and cannot execute large neural networks in real-time. We propose the use of max-pooling aggressively, and we demonstrate it with a Fire-based module and a new Tiny module that includes max-pooling in each module. By stacking them we build networks that achieve the same accuracy as bigger ones, while reducing the number of parameters and considerably increasing computational performance. Our networks can classify a 96x96 sonar image with 98.8 - 99.7 accuracy on only 41 to 61 milliseconds on a Raspberry Pi 2, which corresponds to speedups of 28.6 - 19.7.

研究の動機と目的

• 自律水中ドローンで使用される低消費電力の組み込みシステムに、高精度なディーブニューラルネットワークを実装する課題に対処すること。
• リアルタイムのソナー画像認識タスクにおける大規模モデルの計算ボトルネックを克服すること。
• ソナー画像の分類精度を損なわずに、モデルパラメータ数と推論遅延を削減すること。
• Raspberry Pi 2のようなリソース制限のあるプラットフォームでも、効率的でリアルタイムの推論を可能にすること。

提案手法

• 空間次元を早期に縮小し、計算効率を維持するために、積極的なマックスプーリングを組み込んだFireベースのモジュールを設計する。
• 各モジュール内にマックスプーリングを組み込むことで、さらにネットワークを圧縮し、推論を加速する、新しいTinyモジュールを導入する。
• Tinyモジュールをスタックして、低消費電力推論に最適化された深く軽量なネットワークを構築する。
• 組み込みハードウェア上で精度と速度のバランスを取るために、96×96のソナー画像を用いてネットワークを訓練および評価する。
• FLOPsとパrameter数を最小限に抑えるために、深度可分畳み込みとマックスプーリングの組み合わせを用いる。
• ARMアーキテクチャの組み込みシステムにおける推論に最適化し、遅延とエネルギー効率に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 積極的なマックスプーリングを用いることで、モデルサイズと推論時間を削減しつつ、ソナー画像分類精度を損なわずに実現できるか？
• RQ2 内部にマックスプーリングを内蔵した独自のTinyモジュールは、標準的なFireモジュールと比較して、組み込みプラットフォーム上での精度と速度においてどのように異なるか？
• RQ3 軽量ネットワークは、Raspberry Pi 2のような低消費電力ハードウェア上で、どれほどリアルタイム性能を達成できるか？
• RQ4 組み込みシステムにおけるソナー画像処理において、モデルの複雑さ、パrameter数、推論遅延の間には、どのようなトレードオフが生じるか？

主な発見

• 内部にマックスプーリングを内蔵した提案されたTinyモジュールは、パラメータ数を削減し、推論を加速しながらも高い精度を維持する。
• Raspberry Pi 2上で96×96のソナー画像に対して、41–61ミリ秒の推論時間で98.8–99.7%の分類精度を達成する。
• ベースラインモデルと比較して19.7×から28.6×の高速化を実現し、低消費電力ハードウェア上でリアルタイム処理を可能にする。
• 各モジュールに積極的なマックスプーリングを適用することで、計算負荷を顕著に低減でき、ソナーデータの特徴表現を損なわない。
• FireベースのモジュールとTinyモジュールの組み合わせにより、計算リソースが限られたエッジデバイスへの深層ネットワークの効率的デプロイが可能になる。
• 最終的なネットワークは、電力と遅延が極めて重要な制約である自律水中ドローンでのリアルタイム運用に適している。