[論文レビュー] Neural Network Architecture Beyond Width and Depth

Zuowei Shen, Haizhao Yang+1 more|arXiv (Cornell University)|May 19, 2022

Neural Networks and Applications被引用数 4

ひとこと要約

本稿では、従来の幅と深さに加え、新たなハイパーパrameterである高さを導入することで、三元的なニューラルネットワークアーキテクチャであるNestNetを提案する。再帰的なサブネットワークの組み合わせを活性化関数として用いることで、NestNetは優れた近似性能を達成する：O(n)のパラメータを用いた高さsのNestNetは、[0,1]^d 上の1-Lipschitz関数をO(n^{-(s+1)/d})の誤差で近似可能であり、同じパラメータ予算下で標準的なReLUネットワークが達成できるO(n^{-2/d})よりも優れている。

ABSTRACT

This paper proposes a new neural network architecture by introducing an additional dimension called height beyond width and depth. Neural network architectures with height, width, and depth as hyper-parameters are called three-dimensional architectures. It is shown that neural networks with three-dimensional architectures are significantly more expressive than the ones with two-dimensional architectures (those with only width and depth as hyper-parameters), e.g., standard fully connected networks. The new network architecture is constructed recursively via a nested structure, and hence we call a network with the new architecture nested network (NestNet). A NestNet of height $s$ is built with each hidden neuron activated by a NestNet of height $\le s-1$. When $s=1$, a NestNet degenerates to a standard network with a two-dimensional architecture. It is proved by construction that height-$s$ ReLU NestNets with $\mathcal{O}(n)$ parameters can approximate $1$-Lipschitz continuous functions on $[0,1]^d$ with an error $\mathcal{O}(n^{-(s+1)/d})$, while the optimal approximation error of standard ReLU networks with $\mathcal{O}(n)$ parameters is $\mathcal{O}(n^{-2/d})$. Furthermore, such a result is extended to generic continuous functions on $[0,1]^d$ with the approximation error characterized by the modulus of continuity. Finally, we use numerical experimentation to show the advantages of the super-approximation power of ReLU NestNets.

研究の動機と目的

• 標準的な2次元ニューラルネットワーク（幅と深さのみ）が近似的に最適な近似レートに達した現在の理論的・実用的限界を解消すること。
• 表現力の向上を図るための新しいアーキテクチャ的パラダイムを提唱すること。特に、第3のハイパーパrameterである「高さ」を導入することで、表現能力を顕著に向上させること。
• サブネットワークを活性化関数として再帰的にネストさせることで、標準ネットワークを凌駕する超近似性能が実現可能であることを示すこと。
• 画像分類タスクにおける数値実験を通じて、理論的利点を検証すること。

提案手法

• ニューラルネットワークを高さ、幅、深さというハイパーパramータで定義する3次元アーキテクチャを提案。従来の2次元設計を拡張する。
• ネストされたネットワーク（NestNet）を再帰的アーキテクチャとして導入：高さsのNestNetは、高さ≤s−1のサブネットワークをそのニューロンの活性化関数として用いる。
• ReLU活性化関数を採用し、ネストされた合成によりパラメータ共有を実現する。
• 連続関数のモジュラス連続性を用いて理論的近似誤差バウンドを導出し、[0,1]^d 上の1-Lipschitz関数および一般の連続関数に適用する。
• 特定のReLU活性化関数をサブネットワーク（高さ2のNestNet）に置き換えた変更版CNN（CNN2）を設計。標準CNN（CNN1）との比較を可能にする。
• 学習率スケジューリングを用いたRAdam最適化手法、バッチ正則化、ドロップアウトを導入し、学習の安定化を図り、Fashion-MNISTでの性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 幅と深さに加え、新たなアーキテクチャ的次元「高さ」を導入することで、近似性能に顕著な向上が見られるか？
• RQ2 標準的なReLUネットワークと比較して、O(n)パラメータを用いた高さsのReLU NestNetの近似誤差は、パラメータ数にどのように依存するか？
• RQ3 サブネットワークを活性化関数として再帰的にネストさせることで、実用的なディープラーニングタスクにおける一般化性能や性能向上が達成可能か？
• RQ4 NestNetの高さと、与えられたモジュラス連続性を持つ連続関数を近似する能力との理論的関係は何か？

主な発見

• O(n)パラメータを用いた高さsのReLU NestNetは、[0,1]^d 上の1-Lipschitz関数に対してO(n^{-(s+1)/d})の近似誤差を達成する。これは、同じパラメータ予算下で標準ReLUネットワークが達成できるO(n^{-2/d})よりも顕著に優れている。
• 一般の連続関数に対しては、高さsのNestNetの近似誤差がモジュラス連続性によって特徴付けられ、高さが増加するにつれて収束速度が向上することが示された。
• Fashion-MNISTにおける数値実験では、NestNetを組み込んだCNN（CNN2）が、標準CNN（CNN1）よりも高いテスト精度（最後の100エポックの平均で0.9260）を達成した。訓練時間はわずかに長く、パラメータ数も10個多いが、性能は上回った。
• CNN2の最良実行結果では92.66%のテスト精度を達成し、CNN1の最大92.53%を上回った。これにより、NestNetアーキテクチャの実用的利点が確認された。
• 理論的および実験的結果を統合することで、NestNetがネストされたサブネットワークによる再帰的パラメータ共有によって、超近似性能を実現することが示された。