[論文レビュー] How Can We Be So Dense? The Benefits of Using Highly Sparse Representations

Subutai Ahmad, Luiz Scheinkman|arXiv (Cornell University)|Mar 27, 2019

Generative Adversarial Networks and Image Synthesis参考文献 29被引用数 64

ひとこと要約

本論文は高次元の疎表現を主張し、k-winnersとブースティングを用いた疎ディープネットワークを導入し、MNISTとGoogle Speech Commandsで競争力のある精度とともにノイズに対する頑健性の向上を示す。

ABSTRACT

Most artificial networks today rely on dense representations, whereas biological networks rely on sparse representations. In this paper we show how sparse representations can be more robust to noise and interference, as long as the underlying dimensionality is sufficiently high. A key intuition that we develop is that the ratio of the operable volume around a sparse vector divided by the volume of the representational space decreases exponentially with dimensionality. We then analyze computationally efficient sparse networks containing both sparse weights and activations. Simulations on MNIST and the Google Speech Command Dataset show that such networks demonstrate significantly improved robustness and stability compared to dense networks, while maintaining competitive accuracy. We discuss the potential benefits of sparsity on accuracy, noise robustness, hyperparameter tuning, learning speed, computational efficiency, and power requirements.

研究の動機と目的

• ノイズと干渉に対する頑健性を分析することで、密な表現から疎な表現への移行を動機づける。
• 高次元性を活用するため、疎な重みと活性化を備えたスケーラブルな疎ネットワークアーキテクチャを提案する。
• 精度を保ちながら、MNISTとGoogle Speech Commandsで頑健性の改善を示す。
• 学習速度、電力効率、ハイパーパラメータ調整の潜在的な利点について議論する。

提案手法

• 高次元の疎表現とマッチングボリュームの理論的性質を開発する。
• 疎な重み行列とk-winners活性化スキームを備えた疎ネットワークを定義する。
• ユニット使用の均等化と表現エントロピー最大化を目指すブースティング機構を取り入れる。
• MNISTとGoogle Speech Commandsの設定で、CNNと全結合ネットワークに疎アーキテクチャを適用する。
• 調整されたハイパーパラメータで標準のバックプロパゲーションを用いて訓練し、密なベースラインと比較する。
• 計算効率と潜在的なハードウェア利点について議論を提供する。

実験結果

リサーチクエスチョン

• RQ1 高次元の疎表現は、密な表現と比較してノイズや干渉に対する頑健性を向上させるか？
• RQ2 疎な重みとk-winners活性化を備えた実用的に実現可能な疎ネットワークは、頑健性を高めつつ精度を維持できるか？
• RQ3 ノイズ条件下で、疎ネットワークは画像および音声ベンチマーク（MNISTとGoogle Speech Commands）で密ネットワークと比較してどのように性能を示すか？
• RQ4 標準のディープラーニングフレームワークで疎ネットワークを実装する際の実用的な計算上およびハードウェア上の考慮事項は何か？

主な発見

• 疎性を維持した場合、次元が増加するときに疎表現はノイズや干渉に対して頑健性を示す。
• ランダムな疎重みとk-winners活性化を持つ疎ディープネットワークは、MNISTとGoogle Speech Commandsで競争力のある精度を達成しつつ、ノイズ頑健性を大幅に向上させる。
• 重みと活性化の複数レベルでの疎性の導入は、非ゼロ乗算の大幅な削減と潜在的な電力節約を生み、頑健性の利点をもたらす。
• ドロップアウトは疎ネットワークでは一貫して有益とは限らず、いくつかの設定で頑健性を低下させることがある。疎性自体が頑健性に寄与する。
• MNISTから音声コマンドデータセットへ結果が一般化され、疎表現の分野横断的な適用可能性が示唆される。