[論文レビュー] Assessing Intelligence in Artificial Neural Networks

Nicholas J. Schaub, Nathan Hotaling|arXiv (Cornell University)|Jun 3, 2020

Neural Networks and Applications参考文献 18被引用数 4

ひとこと要約

本稿では、ニューラルネットワークのパラメータをタスク実行にどの程度効果的に使用しているかを評価するため、ニューラル効率と人工知能クオティエント（aIQ）を導入する。LeNet-300-100およびLeNet-5ネットワークにおける状態空間エントロピーの分析を通じて、aIQが高く、より小さいネットワークが75%のラベルランダマイゼーション下でも強力な正確性（92.51%）を達成することを示し、記憶化や過学習に対する耐性を示している。一方、より大きな対応モデルと比較して30,912倍も少ないパラメータを用いても、aIQは2.32%高い水準を達成している。

ABSTRACT

The purpose of this work was to develop of metrics to assess network architectures that balance neural network size and task performance. To this end, the concept of neural efficiency is introduced to measure neural layer utilization, and a second metric called artificial intelligence quotient (aIQ) was created to balance neural network performance and neural network efficiency. To study aIQ and neural efficiency, two simple neural networks were trained on MNIST: a fully connected network (LeNet-300-100) and a convolutional neural network (LeNet-5). The LeNet-5 network with the highest aIQ was 2.32% less accurate but contained 30,912 times fewer parameters than the highest accuracy network. Both batch normalization and dropout layers were found to increase neural efficiency. Finally, high aIQ networks are shown to be memorization and overtraining resistant, capable of learning proper digit classification with an accuracy of 92.51% even when 75% of the class labels are randomized. These results demonstrate the utility of aIQ and neural efficiency as metrics for balancing network performance and size.

研究の動機と目的

• 人間の知能におけるニューラル効率仮説にインspiredされ、ニューラルネットワークのパフォーマンスとサイズのバランスを取る指標を開発すること。
• 高いパrameter数にもかかわらず、しばしば過学習やデータ記憶に陥る大規模ニューラルネットワークの非効率性を是正すること。
• 正確性を超えたパrameter効率性と一般化性能に焦点を当て、ネットワーク知能を評価するフレームワークを構築すること。
• より小さな、より効率的なネットワークが、大規模で過パラメータ化されたモデルと同等またはそれ以上の性能を達成できるかどうかを検討すること。

提案手法

• ニューラル効率を、観測されたニューロン出力状態からのシャノンエントロピーを用いて計算した層の状態空間のエントロピー的効率として定義する。
• 状態空間の複雑性を低減し、エントロピー計算を実行可能にするために、ニューロン出力を2値化（発火または非発火）する。
• パフォーマンスとニューラル効率を統合した複合指標として、人工知能クオティエント（aIQ）を測定する。
• MNISTデータセットを用いて、全結合型のLeNet-300-100と畳み込み型のLeNet-5の2つのモデルをトレーニング・分析し、効率性とパフォーマンスを比較する。
• バッチ正則化およびドロップアウト層の影響がニューラル効率とaIQに与える影響を評価する。
• 状態空間解析を用いて、データサイズと情報容量に基づき、1層あたりのニューロン数の理論的上限を推定する。

実験結果

リサーチクエスチョン

• RQ1 状態空間エントロピーを用いて、ニューラル層がそのパrameterをどの程度効果的に活用しているかを測定可能か？
• RQ2 aIQが高くなるほど、一般化性能が向上し、過学習や記憶化に対する耐性が高まるか？
• RQ3 aIQおよびニューラル効率に最適化された場合、顕著に小さなネットワークが、大きなモデルと同等の性能を達成できるか？
• RQ4 ドロップアウトやバッチ正則化といった正則化技術が、ニューラル効率とaIQにどのように影響を与えるか？
• RQ5 情報理論的状態空間制約に基づき、1層あたりのニューロン数の理論的上限は何か？

主な発見

• aIQが最も高いLeNet-5ネットワークは、トレーニングラベルの75%がランダマイズされた状態でも92.51%の正確性を達成しており、記憶化に対する強い耐性を示している。
• 最高aIQのLeNet-5モデルは、最高正確性のネットワークより2.32%低い正確性であったが、パラメータ数は30,912倍も少ない。
• バッチ正則化およびドロップアウト層の両方がニューラル効率を向上させ、パラメータの効率的利用に寄与していることが示された。
• 層の状態分布のエントロピーを用いたニューラル効率の測定は、正確性を超えたネットワークアーキテクチャの比較に意味のある指標を提供した。
• 状態空間解析から、データ数Xに対して、密結合層のニューロン数はceil(log₂X)を超えないべきであると示唆されており、AlexNetのような現在のネットワークは著しく過パラメータ化されている可能性がある。
• 理論的上限（例：3×3グレースケール画像では72ニューロン）から、多くの現代的ネットワークが必要な以上に多くのパラメータを使用しており、敵対的攻撃に対して脆弱性が高まっている可能性がある。