[論文レビュー] DeepLABNet: End-to-end Learning of Deep Radial Basis Networks with Fully Learnable Basis Functions

Andrew Hryniowski, Alexander Wong|arXiv (Cornell University)|Nov 20, 2019

Neural Networks and Applications被引用数 7

ひとこと要約

DeepLABNetは、完全に学習可能な基底関数を備えたエンド・ツー・エンドで学習可能な深層径路基底関数（RBF）ネットワークを導入し、階層的で適応的な非線形活性化を可能にした。チャネル間の依存関係を分離し、多項調和RBFを用い、戦略的な正則化を施すことで、CIFAR-10およびCIFAR-100で最先端の性能を達成。FLOPsとパラメータ数が同等である一方、ReLUベースのResNetよりも最大5.7%高い精度を達成した。

ABSTRACT

From fully connected neural networks to convolutional neural networks, the learned parameters within a neural network have been primarily relegated to the linear parameters (e.g., convolutional filters). The non-linear functions (e.g., activation functions) have largely remained, with few exceptions in recent years, parameter-less, static throughout training, and seen limited variation in design. Largely ignored by the deep learning community, radial basis function (RBF) networks provide an interesting mechanism for learning more complex non-linear activation functions in addition to the linear parameters in a network. However, the interest in RBF networks has waned over time due to the difficulty of integrating RBFs into more complex deep neural network architectures in a tractable and stable manner. In this work, we present a novel approach that enables end-to-end learning of deep RBF networks with fully learnable activation basis functions in an automatic and tractable manner. We demonstrate that our approach for enabling the use of learnable activation basis functions in deep neural networks, which we will refer to as DeepLABNet, is an effective tool for automated activation function learning within complex network architectures.

研究の動機と目的

• 深層ニューラルネットワークにおける静的で学習不可能な活性化関数の制限を克服し、径路基底関数（RBF）の活性化をエンド・ツー・エンドで学習可能にする。
• RBFネットワークを深層アーキテクチャに統合する際の歴史的かつ不安定で取り扱いにくい問題を解決し、新しい安定した学習フレームワークを導入する。
• 深層学習における固定活性化関数の代替として、学習可能なRBFの可能性を、特に階層的ネットワーク設計において探求する。
• さまざまなモデルサイズとデータセットにおいて、学習可能なRBFの性能を、標準のReLUベースのネットワークと比較して評価する。
• 学習可能なRBFが、特に小さなモデルやより複雑なデータセットにおいて、標準のReLUネットワークや1層のRBFネットワークよりも高い精度を達成できることを示す。

提案手法

• サブ-RBFネットワーク内のチャネル間依存関係を分離することで、学習の安定性とスケーラビリティを向上させる。
• 多項調和RBFをコアとなる非線形活性化ユニットとして採用し、柔軟で学習可能な非線形変換を可能にする。
• 学習の不安定性を軽減し、局所最適解のリスクを低減するため、戦略的な正則化および初期化手法を導入する。
• RBFの中心とカーネル係数を含むネットワーク全体にバックプロパゲーションをエンド・ツー・エンドで適用し、基底関数の完全なパrameter化を可能にする。
• RBF出力の線形結合（y = λh）を用いて最終予測を生成し、λとRBF中心（c_p）を同時に学習中に最適化する。
• 過学習と性能のばらつきを管理するため、学習率スケジューリングと早期停止を適用した修正されたトレーニングスケジュールを採用する。

実験結果

リサーチクエスチョン

• RQ1 完全に学習可能な径路基底関数を、エンド・ツー・エンドの学習が可能な深層ニューラルネットワークアーキテクチャに効果的に統合できるか？
• RQ2 CIFAR-10およびCIFAR-100において、さまざまなモデルサイズにおいてDeepLABNetは標準のReLUベースのResNetと比べてどのように性能を発揮するか？
• RQ3 固定活性化関数と比較して、学習可能なRBFを用いる際のトレーニング時間、過学習、性能のばらつきのトレードオフは何か？
• RQ4 複雑で階層的なタスクにおいて、DeepLABNetは1層のRBFネットワークや標準のReLUネットワークよりも優れた表現学習を達成できるか？
• RQ5 モデルサイズを小さくすることで高い精度を維持できるか。これによりエッジデプロイメントに適した性能を発揮できるか？

主な発見

• DeepLABNetは、CIFAR-100においてReLUベースのResNet-8を5.7%上回る精度を達成し、小さなモデルと複雑なデータセットにおいて顕著な向上を示した。
• CIFAR-10では、ResNet-50を用いて91.9%の精度を達成し、ReLUベースラインを0.3%上回ったが、FLOPsはわずか2億3100万で抑えられた。
• ResNet-32では、CIFAR-10で91.6%、CIFAR-100で67.8%の精度を達成し、より大きなReLUベースのResNet-50モデルと同等またはそれ以上の性能を示した。
• Nvidia GTX 1080 Tiを用いた場合、ResNet-8ではトレーニング時間が50%、ResNet-50では150%延長され、トレーニング効率のトレードオフが顕著に現れた。
• 大きなモデルでは、特に一定の学習率で長時間トレーニングを行うと、過学習と性能のばらつきが増加する傾向が見られた。
• 高いばらつきが見られたが、すべてのモデルサイズとデータセットにおいて、ReLUベースラインを常に上回る平均的な性能を達成しており、自動化された活性化関数学習の有効性を裏付けた。