[論文レビュー] Data-aware customization of activation functions reduces neural network error

Fuchang Gao, Boyu Zhang|arXiv (Cornell University)|Jan 16, 2023

Machine Learning in Materials Science被引用数 5

ひとこと要約

本論文は、部分的に交換可能な目的関数を想定し、ニューラルネットワークの誤差を低減するためのデータに依存する活性化関数のカスタマイズを提案する。特に、'seagull'活性化関数 log(1 + x²) を導入する。線形代数とDiaconis-Shahshahani近似定理を活用することで、予測における対称性を保証する。その結果、回帰タスクにおいて誤差が最大で1桁単位で低減され、特に交換可能な変数を処理する最初の層に適用した場合に顕著な効果を示す。

ABSTRACT

Activation functions play critical roles in neural networks, yet current off-the-shelf neural networks pay little attention to the specific choice of activation functions used. Here we show that data-aware customization of activation functions can result in striking reductions in neural network error. We first give a simple linear algebraic explanation of the role of activation functions in neural networks; then, through connection with the Diaconis-Shahshahani Approximation Theorem, we propose a set of criteria for good activation functions. As a case study, we consider regression tasks with a partially exchangeable target function, \emph{i.e.} $f(u,v,w)=f(v,u,w)$ for $u,v\in \mathbb{R}^d$ and $w\in \mathbb{R}^k$, and prove that for such a target function, using an even activation function in at least one of the layers guarantees that the prediction preserves partial exchangeability for best performance. Since even activation functions are seldom used in practice, we designed the ``seagull'' even activation function $\log(1+x^2)$ according to our criteria. Empirical testing on over two dozen 9-25 dimensional examples with different local smoothness, curvature, and degree of exchangeability revealed that a simple substitution with the ``seagull'' activation function in an already-refined neural network can lead to an order-of-magnitude reduction in error. This improvement was most pronounced when the activation function substitution was applied to the layer in which the exchangeable variables are connected for the first time. While the improvement is greatest for low-dimensional data, experiments on the CIFAR10 image classification dataset showed that use of ``seagull'' can reduce error even for high-dimensional cases. These results collectively highlight the potential of customizing activation functions as a general approach to improve neural network performance.

研究の動機と目的

• 標準的なニューラルネットワークの一般化性能の低さを是正するため、分野特有の構造的知識を活性化関数設計に統合すること。
• 特に対称性の性質（部分的交換可能性など）を含む、元のデータ構造に基づいて活性化関数をカスタマイズすることで、モデル性能を向上させること。
• 構造的データにおいて正確な予測に不可欠な関数的対称性を、すらに活性化関数が保持できることを示すこと。
• アーキテクチャの変更なしに即座に利用可能な実用的で、プラグアンドプレイな活性化関数である' seagull 'を設計すること。
• CIFAR10のような高次元データセットを含め、多様な回帰問題に対してこのアプローチを検証すること。

提案手法

• 線形代数を用いて、活性化関数によるランク増強問題としてニューラルネットワーク近似を定式化する。
• Diaconis-Shahshahani近似定理を用いて、有効な活性化関数の理論的基準を導出する。
• 偶関数である活性化関数が、f(u,v,w) = f(v,u,w) のような部分的交換性を保持することを証明する。
• 理論的基準を満たし、偶対称性を保証するため、g(x) = log(1 + x²) という 'seagull'活性化関数を設計する。
• 再訓練や損失関数の変更なしに、既存のニューラルネットワークにseagull関数を単純に置き換える。
• 次元数、滑らかさ、曲率、交換可能性の異なる26以上の回帰タスクで性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 データに依存する活性化関数のカスタマイズは、回帰タスクにおけるニューラルネットワーク誤差を顕著に低減できるか？
• RQ2 偶関数の活性化関数を用いることで、目的関数の部分的交換性が保持され、性能向上が達成されるか？
• RQ3 標準的な活性化関数と比較して、'seagull'活性化関数 log(1 + x²) はどの程度誤差低減に寄与するか？
• RQ4 seagull関数が交換可能な変数を最初に処理する層に適用された場合、性能向上が最も顕著に現れるか？
• RQ5 このアプローチは、CIFAR10における画像分類のような高次元データにも一般化可能か？

主な発見

• 標準的な活性化関数を 'seagull' 関数 log(1 + x²) に置き換えることで、複数の回帰タスクで誤差が1桁単位で低減した。
• 誤差低減効果が最も顕著に現れたのは、交換可能な変数が最初に接続される層にseagull関数を適用した場合であった。
• 元の活性化関数、損失関数、最適化手法、データノイズのレベルに関わらず、一貫した改善効果が得られた。
• CIFAR10のような高次元設定でもseagull関数は誤差を低減したが、低次元ケースに比べて効果は小さかった。
• 理論的分析により、偶関数の活性化関数が部分的交換性を保持することが確認され、性能向上の理由が説明された。
• 実験的結果により、同じ学習条件下でseagull関数が標準的なReLUや他の一般的な活性化関数を上回ることが裏付けられた。