[論文レビュー] An improved LogNNet classifier for IoT application

Hanif Heidari, Andrei Velichko|arXiv (Cornell University)|May 30, 2021

Neural Networks and Applications被引用数 5

ひとこと要約

この論文では、半線形ヘノン型カオス的写像を用いてMNIST-10データセットにおける分類精度を向上させつつ、低メモリ使用量を維持する、改良されたLogNNet分類器を提案する。粒子群最適化（PSO）を用いたランダムな移民を導入したカオス的写像のパラメータ最適化と、リザボアに基づく変換を活用することで、同じRAM消費量で元のLogNNetよりも高い精度を達成した。これはエントロピーと分類性能の直接的な関連性を示している。

ABSTRACT

In the age of neural networks and Internet of Things (IoT), the search for new neural network architectures capable of operating on devices with limited computing power and small memory size is becoming an urgent agenda. Designing suitable algorithms for IoT applications is an important task. The paper proposes a feed forward LogNNet neural network, which uses a semi-linear Henon type discrete chaotic map to classify MNIST-10 dataset. The model is composed of reservoir part and trainable classifier. The aim of the reservoir part is transforming the inputs to maximize the classification accuracy using a special matrix filing method and a time series generated by the chaotic map. The parameters of the chaotic map are optimized using particle swarm optimization with random immigrants. As a result, the proposed LogNNet/Henon classifier has higher accuracy and the same RAM usage, compared to the original version of LogNNet, and offers promising opportunities for implementation in IoT devices. In addition, a direct relation between the value of entropy and accuracy of the classification is demonstrated.

研究の動機と目的

• 制限されたメモリと計算能力を備えたIoTデバイスに適したニューラルネットワークアーキテクチャの設計。
• RAM使用量を増加させずに、元のLogNNetモデルの分類精度を向上させること。
• 画像分類におけるリザボアコンピューティング性能の向上に寄与するカオス的ダイナミクスの役割の解明。
• カオス的写像のエントロピーと分類精度の間の定量的関係の確立。

提案手法

• 提案手法は、半線形ヘノン型離散的カオス的写像から構成されるリザボアを有するフィードフォワード型LogNNetアーキテクチャを採用する。
• 入力データは、カオス的写像によって生成された時系列を介して変換され、リザボア層における特徴表現が強化される。
• 分類性能を最大化するために、リザボアの行列への新しい埋め込み手法が適用される。
• 一般化性能の向上を図るため、ランダムな移民を導入した粒子群最適化（PSO）を用いてカオス的写像のパラメータを最適化する。
• リザボア出力は、最終的な予測のための学習可能な分類器に供給される。
• 精度とエントロピーの指標を用いて、MNIST-10データセット上でモデルの性能が評価される。

実験結果

リサーチクエスチョン

• RQ1 カオス的リザボアベースのニューラルネットワークは、低メモリ使用量を維持したまま、元のLogNNetよりも高い分類精度を達成できるか？
• RQ2 カオス的写像のエントロピーは、LogNNetモデルの分類精度にどのように影響するか？
• RQ3 ランダムな移民を導入した粒子群最適化（PSO）は、カオス的写像のパラメータを効果的にチューニングし、性能を向上させることができるか？
• RQ4 リザボアの行列埋め込み戦略は、分類結果にどのような影響を及ぼすか？
• RQ5 提案されたLogNNetの変種は、低消費電力のIoTデバイスへのデプロイに適しているか？

主な発見

• 改良型LogNNet/ヘノン分類器は、MNIST-10データセットにおいて、元のLogNNetよりも高い分類精度を達成した。
• モデルは元のLogNNetと同等のRAM使用量を維持しており、低リソースのIoTアプリケーションに適している。
• カオス的写像のエントロピーと分類精度の間には、明確な正の相関関係が実証された。
• ランダムな移民を導入した粒子群最適化（PSO）は、カオス的写像のパラメータを効果的に最適化し、モデル性能の向上に寄与した。
• リザボアの行列埋め込み戦略は、特徴表現の強化と分類精度の向上に顕著な寄与を示した。
• モデルの性能はMNIST-10ベンチマークで検証され、エッジAIへのデプロイ可能性が確認された。