[論文レビュー] Learning the Non-linearity in Convolutional Neural Networks

Gavneet Singh Chadha, Andreas Schwung|arXiv (Cornell University)|May 29, 2019

Neural Networks and Applications参考文献 23被引用数 4

ひとこと要約

本稿では、受容 field に適用される可学習の指数非線形性を備えた指数重み行列（EWM）を導入することで特徴抽出を強化する非線形畳み込みニューラルネットワーク（NLCNN）を提案する。この手法は、時間系列データ、特にテネシー・イーストマン過程のような非線形系において、表現能力を向上させるとともに最適化の難易度を軽減することで分類性能を向上させる。EWM のエンドツーエンド学習は、固定値またはデータ拡張のみの手法よりも優れた結果をもたらす。

ABSTRACT

We propose the introduction of nonlinear operation into the feature generation process in convolutional neural networks. This nonlinearity can be implemented in various ways. First we discuss the use of nonlinearities in the process of data augmentation to increase the robustness of the neural networks recognition capacity. To this end, we randomly disturb the input data set by applying exponents within a certain numerical range to individual data points of the input space. Second we propose nonlinear convolutional neural networks where we apply the exponential operation to each element of the receptive field. To this end, we define an additional weight matrix of the same dimension as the standard kernel weight matrix. The weights of this matrix then constitute the exponents of the corresponding components of the receptive field. In the basic setting, we keep the weight parameters fixed during training by defining suitable parameters. Alternatively, we make the exponential weight parameters end-to-end trainable using a suitable parameterization. The network architecture is applied to time series analysis data set showing a considerable increase in the classification performance compared to baseline networks.

研究の動機と目的

• 標準的な CNN が非線形プロセス、特に時間系列解析において表現能力に限界をもつ問題に対処すること。
• 入力データポイントのランダムな指数化による非線形的データ拡張を導入することで、頑健性と一般化性能を向上させること。
• 畳み込み演算内に直接非線形変換を適用する、エンドツーエンドで学習可能な指数重み行列（EWM）を備えた新しい CNN アーキテクチャを提案すること。
• テネシー・イーストマン過程のような実世界の非線形時間系列データセットにおける分類精度の向上を、非線形演算の有効性を評価すること。

提案手法

• 入力データポイントに一様分布 [-2, 4] からのランダムな指数を割り当てることで非線形的データ拡張を導入し、トレーニング中の頑健性を向上させる。
• 各受容 field 要素を、カーネルと同じサイズの追加の重み行列（EWM）で定義される学習可能な指数にべき乗する非線形畳み込み演算を提案する。
• EWM は特徴マップ内のすべてのニューロンで共有され、意味のあるパターンで初期化したり、標準的な畳み込み重みと同時にエンドツーエンドで学習させることができる。
• EWM が微分可能かつ学習可能であるようにパrameterization を採用し、バックプロパゲーション中に最適な非線形性を学習可能にする。
• 標準的な CNN アーキテクチャに、線形結合の前に要素ごとのべき乗を適用するように変更された畳み込み層を採用し、計算効率を維持する。
• データを平均 0、分散 1 に正規化した上で、テネシー・イーストマン過程ベンチマークを用いた時間系列分類にこの手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 ランダムな指数化による非線形的データ拡張は、時間系列分類タスクにおける CNN の一般化性能と頑健性を向上させることができるか？
• RQ2 畳み込み演算内に学習可能な指数非線形性を組み込むことで、非線形系における CNN の表現能力が向上するか？
• RQ3 EWM のエンドツーエンド学習は、固定値またはランダムにサンプリングされた EWM と比較して、分類性能において優れているか？
• RQ4 提案された非線形 CNN アーキテクチャは、最適化における局所最小値への感受性をどれほど軽減するか？
• RQ5 NLCNN フレームワークは、テネシー・イーストマン過程のような実世界の複雑な非線形産業プロセスに効果的に適用可能か？

主な発見

• ランダムな指数化による非線形的データ拡張は、標準的な CNN よりも分類性能を向上させるが、不適切な指数選択は結果を劣化させる可能性がある。
• 固定 EWM 行列の導入により、畳み込み層内で非線形特徴変換が可能となり、モデルの表現能力が顕著に向上する。
• EWM のエンドツーエンド学習は、固定 EWM やベースライン CNN と比較して、分類精度が顕著に向上する。
• 提案された NLCNN アーキテクチャは、複雑で非線形な産業用時間系列データセットであるテネシー・イーストマン過程ベンチマークにおいて、頑健性と一般化性能が向上していることを示す。
• 追加パラメータが最小限に抑えられ、他の非線形カーネルベースの手法と比較して効率的なトレーニングとより優れた一般化性能を実現する。
• 予備的な結果から、非線形演算が損失関数の地形を平坦化し、最適化中に局所最小値への感受性が低下することが示唆されている。