[論文レビュー] Learning Neuron Non-Linearities with Kernel-Based Deep Neural Networks

Giuseppe Marra, Dario Zanca+2 more|arXiv (Cornell University)|Jul 17, 2018

Neural Networks and Applications参考文献 11被引用数 3

ひとこと要約

この論文は、正則化最適化フレームワーク内でのカーネル展開を用いて最適なニューロン活性化関数を学習するカーネルベースの深層ニューラルネットワーク（KBDNN）を提案する。これにより、長期間のシーケンスタスクにおいて優れた性能が得られる。標準のReLUやLSTMユニットとは異なり、学習された非線形性は非単調的であり、収縮的および拡張的挙動を交互にとることができ、勾配消失を効果的に緩和し、KBRNが長期間の依存関係を長さ200までのシーケンスで高い正確性で捉えることを可能にする。

ABSTRACT

The effectiveness of deep neural architectures has been widely supported in terms of both experimental and foundational principles. There is also clear evidence that the activation function (e.g. the rectifier and the LSTM units) plays a crucial role in the complexity of learning. Based on this remark, this paper discusses an optimal selection of the neuron non-linearity in a functional framework that is inspired from classic regularization arguments. It is shown that the best activation function is represented by a kernel expansion in the training set, that can be effectively approximated over an opportune set of points modeling 1-D clusters. The idea can be naturally extended to recurrent networks, where the expressiveness of kernel-based activation functions turns out to be a crucial ingredient to capture long-term dependencies. We give experimental evidence of this property by a set of challenging experiments, where we compare the results with neural architectures based on state of the art LSTM cells.

研究の動機と目的

• 再帰的ネットワークにおける固定で単調な活性化関数の制限が長期依存関係学習を妨えるという問題に対処すること。
• ネットワーク重みとニューロン非線形性の両方が正則化を用いて統合的に最適化されるフレームワークを構築すること。
• カーネルベースの活性化関数が、順序データにおける長距離依存関係を捉える点で、標準のLSTMユニットを上回る可能性があるかどうかを調査すること。
• 非単調的でカーネルから導かれる活性化関数が、深層再帰的アーキテクチャにおけるより良い勾配フローを可能にする理論的・実証的証拠を提供すること。

提案手法

• 訓練データ点上のカーネル展開を用いて、ネットワーク重みと関数的活性化パラメータの両方に対する正則化最適化問題として学習問題を定式化する。
• 各ニューロンの活性化関数をカーネル展開として表現する：$ f(x) = \sum_{i=1}^{d} \alpha_i K(x, x_i) $、ここで $ x_i $ は訓練セットからの重心である。
• 安定性と一般化を確保するため、正規化されたカーネル表現を用い、実験では $ d=100 $ 個の重心を使用する。
• Adam最適化アルゴリズムを用いてエンドツーエンドで学習し、$ \lambda = 0.001 $ を設定して、重みとカーネル係数を同時に更新する。
• 再帰的ネットワークへの拡張として、非単調な活性化関数を用いて収縮的および拡張的ダイナミクスの組み合わせとして反復写像をモデル化する。
• 長期間のシーケンスにおいて、最初の数ビットにのみ区別情報が存在するベンチマークを設計し、初期情報の保持能力をテストする。

実験結果

リサーチクエスチョン

• RQ1 カーネルベースの活性化関数は、ReLU やシグモイドなどの固定非線形性を上回り、長期依存関係を捉える能力に優れているか？
• RQ2 カーネルベースの活性化関数が非単調であるという性質が、再帰的ネットワークにおける勾配フローを改善し、勾配消失を防止するか？
• RQ3 重要な情報が最初の部分にのみ存在する場合、KBDNNはどの程度長期間のシーケンスに一般化できるか？
• RQ4 シーケンス長が増加する順序分類タスクにおいて、KBRNの性能は最先端のLSTMベースアーキテクチャと比べてどの程度優れているか？

主な発見

• KBRNは長さ150までのすべてのベンチマークでほぼ完璧な成功率を達成した。同様に、同値関数（≡）に対しても同様の結果が得られたが、長さ200では失敗したため、この設定では実用的な上限は約150と推定される。
• KBRNはLSTMネットワークよりも著しく高速に収束し、シーケンス長が延びるにつれて平均的な学習イテレーション回数が減少した。一方、LSTMはイテレーション回数が増加し、収束しなかったり失敗する傾向にあった。
• 学習された活性化関数の非単調性により、シーケンス処理中に収縮的および拡張的挙動を交互にとることができ、長距離依存関係の効果的なバックプロパゲーションが可能になった。
• 4つのブール関数（OR、AND、XOR、EQUIVALENCE）すべてにおいて、KBRNは全テスト長における90〜100％の成功率を達成したが、LSTMは30を超える長さのシーケンスでは成功率が50％未満に低下した。
• これらの結果は、カーネルベースの活性化関数が、再帰的アーキテクチャにおいて、標準の固定非線形性よりもより強固で表現力に優れたインダクティブバイアスを提供することを示している。