[論文レビュー] A Capacity Scaling Law for Artificial Neural Networks

Gerald Friedland, Mario Michael Krell|arXiv (Cornell University)|Aug 20, 2017

Neural Networks and Applications参考文献 35被引用数 10

ひとこと要約

本稿では、情報理論を用いてフィードフォワードニューラルネットワークの情報容量を定量化する理論的枠組みを提示し、2つの重要な容量閾値、すなわちロスレスメモリ（LM）次元とマケイ（MK）次元を導出する。両者はネットワークの重み数に比例して線形に増加し、それぞれ完全記憶の上限と学習失敗率50％の閾値を示す。この理論的予測は、アーキテクチャや学習アルゴリズムを問わず再現可能な実験により検証された。

ABSTRACT

We derive the calculation of two critical numbers predicting the behavior of perceptron networks. First, we derive the calculation of what we call the lossless memory (LM) dimension. The LM dimension is a generalization of the Vapnik--Chervonenkis (VC) dimension that avoids structured data and therefore provides an upper bound for perfectly fitting almost any training data. Second, we derive what we call the MacKay (MK) dimension. This limit indicates a 50% chance of not being able to train a given function. Our derivations are performed by embedding a neural network into Shannon's communication model which allows to interpret the two points as capacities measured in bits. We present a proof and practical experiments that validate our upper bounds with repeatable experiments using different network configurations, diverse implementations, varying activation functions, and several learning algorithms. The bottom line is that the two capacity points scale strictly linear with the number of weights. Among other practical applications, our result allows to compare and benchmark different neural network implementations independent of a concrete learning task. Our results provide insight into the capabilities and limits of neural networks and generate valuable know how for experimental design decisions.

研究の動機と目的

• 実験的観察を超えて、人工ニューラルネットワークの情報容量を測定する理論的基盤を確立すること。
• 関数記憶の限界と学習失敗の限界を予測できる2つの重要な容量閾値、すなわちロスレスメモリ（LM）次元とマケイ（MK）次元を定義すること。
• 多様なネットワークアーキテクチャ、活性化関数、学習アルゴリズムを対象とした制御された実験を通じて、これらの理論的上限を検証すること。
• 特定の学習タスクに依存しない、ニューラルネットワーク実装同士を比較するためのタスクに依存しないベンチマーク手法を提供すること。
• デイビッド・マケイの初期の容量研究を、スケーラブルで情報理論に基づいた枠組みで、多層パーセプトロンネットワークに拡張すること。

提案手法

• 容量を情報ビットとして解釈できるように、ニューラルネットワークをシャノンの通信モデルに埋め込む。
• ロスレスメモリ（LM）次元を、ネットワークが完全に記憶可能なランダムラベル付けの最大数として定義し、パラメータ空間の組み合わせ的解析により導出する。
• マケイ（MK）次元を、学習成功確率が50％に低下する点として定義し、確率的境界と情報理論的推論に基づいて導出する。
• 一般化効果を排除し、純粋な記憶容量を分離するために、一様分布のランダム入力点を用いる。
• データ処理不等式を適用して、実際のLM次元が理論的上限よりも通常低くなる理由を説明する。
• ネットワークの深さ、幅、活性化関数（ReLU、シグモイド）、最適化アルゴリズムを変化させた制御実験を通じて、理論的予測の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークが、そのパラメータ数の関数として、最大で何個のランダムラベル付けを完全に記憶できるか、理論的上限は何か？
• RQ2 ニューラルネットワークが与えられた関数を学習する際に50％の確率で失敗する点はどこにあり、この閾値はネットワークサイズにどのように依存するか？
• RQ3 異なる活性化関数や学習アルゴリズムは、理論的容量限界の実現にどのような影響を及ぼすか？
• RQ4 理論的容量限界は、特定の学習タスクに依存しない普遍的なベンチマークとして、ニューラルネットワーク実装の比較に利用可能か？
• RQ5 なぜ実際のLM次元は理論的予測を下回るのか？また、データ処理不等式はこのギャップをどのように説明するか？

主な発見

• ロスレスメモリ（LM）次元は、ネットワークの重み数に厳密に線形に比例し、完全記憶容量の上限を提供する。
• マケイ（MK）次元も、重み数に線形に比例し、学習成功確率が50％に低下する閾値を示す。
• ReLU、シグモイド、その他の活性化関数を用いた実験により、LMおよびMK次元が多様なアーキテクチャと学習アルゴリズムにおいて予測通りの線形スケーリングを示すことが確認された。
• 実験結果から、実際のネットワークは理論的上限を常に下回ることが判明し、データ処理不等式の影響によりLM次元は通常、予測値よりも低くなる傾向にあった。
• 容量スケーリング則により、タスクに依存しないニューラルネットワーク実装のベンチマーク評価が可能となり、異なるアーキテクチャや学習手法間での効率性と収束性の直接比較が可能になった。
• 理論的枠組みにより、工学的設計のための実用的上限が得られ、与えられた関数クラスに対してネットワークが過小または過剰にパラメータ化されないよう保証できる。