[論文レビュー] Reproducing Activation Function for Deep Learning

Senwei Liang, Liyao Lyu+2 more|arXiv (Cornell University)|Jan 13, 2021

Advanced Neural Network Applications参考文献 75被引用数 10

ひとこと要約

本稿では、再現活性化関数（RAFs）を導入し、学習可能な線形結合に基づくデータ駆動型でニューロン単位の活性化メカニズムを提案する。基本関数（例：多項式、正弦関数、ガウス関数）の線形結合を用いることで、深層学習の精度を向上させる。この手法により、フーリエ基底やウェーブレット基底といった古典的近似手法を効果的に再現可能となり、スペクトルバイアスを低減し、ニューラルタングェントカーネル（NTK）の条件数を改善し、PDEや固有値問題の解法においてベースラインと比較して最大99％の誤差低減を達成する。

ABSTRACT

We propose reproducing activation functions (RAFs) to improve deep learning accuracy for various applications ranging from computer vision to scientific computing. The idea is to employ several basic functions and their learnable linear combination to construct neuron-wise data-driven activation functions for each neuron. Armed with RAFs, neural networks (NNs) can reproduce traditional approximation tools and, therefore, approximate target functions with a smaller number of parameters than traditional NNs. In NN training, RAFs can generate neural tangent kernels (NTKs) with a better condition number than traditional activation functions lessening the spectral bias of deep learning. As demonstrated by extensive numerical tests, the proposed RAFs can facilitate the convergence of deep learning optimization for a solution with higher accuracy than existing deep learning solvers for audio/image/video reconstruction, PDEs, and eigenvalue problems. With RAFs, the errors of audio/video reconstruction, PDEs, and eigenvalue problems are decreased by over 14%, 73%, 99%, respectively, compared with baseline, while the performance of image reconstruction increases by 58%.

研究の動機と目的

• 深層学習におけるスペクトルバイアス（低周波数解に偏る傾向）を是正し、振動的または特異的関数の取り扱いに苦労する問題に対処すること。
• 画像／動画再構成、PDEの解法、固有値計算などのタスクにおいて、深層学習の近似精度を向上させること。
• 多項式、フーリエ基底、ウェーブレットなど古典的近似手法を効果的に再現できる、適応的で指数的収束レートを達成する活性化関数の開発。
• ニューラルタングェントカーネル（NTK）の条件数を低減し、最適化の加速と一般化性能の向上を実現すること。
• 活性化関数構造に事前知識を埋め込むことで、パラメータ数を減らしつつも、より効率的かつ正確なニューラルネットワーク学習を可能にすること。

提案手法

• 基本関数（例：x, x², sin(x), exp(-x²)）の学習可能な線形結合として、データ駆動型の活性化関数を構築するRAFsを提案。
• 各ニューロンが異なる活性化関数を使用可能となるようにネットワークを設計し、複雑な目的関数の柔軟な近似を可能にする。
• 理論的分析により、RAFsが古典的近似系を模倣することで、次元に依存しない指数的近似レートを達成可能であることを示す。
• 境界条件の強制を伴う残差ネットワークにRAFsを統合し、PDEソルバーにおいて物理的一致性を確保する。
• Adam最適化法を用い、学習率の段階的減少を適用し、相対L²テスト誤差とNTKの条件数を評価指標として用いる。
• 基本関数のスケーリングパラメータ（例：ガウス関数に対して0.1）を固定することで、NTKにおける振動応答を強化し、高周波数問題における性能向上を図る。

実験結果

リサーチクエスチョン

• RQ1 学習可能でニューロン単位の活性化関数は、画像再構成やPDEの解法といった多様なタスクにおいて、深層学習の精度を向上させることができるか？
• RQ2 RAFsは、直交多項式、フーリエ基底、ウェーブレットといった古典的近似系をニューラルネットワーク内ですばやく再現できるか？
• RQ3 RAFsの導入により、より良好な条件数を持つニューラルタングェントカーネル（NTK）が得られ、最適化におけるスペクトルバイアスが低減するか？
• RQ4 標準的な活性化関数と比較して、RAFsは高次元的・非線形的PDEにおいてどの程度近似誤差を低減できるか？
• RQ5 振動的または特異的解に対して、RAFsは入力次元に依存しない指数的収束レートを達成できるか、特にその可能性は？

主な発見

• 音声および動画タスクでは、ベースラインモデルと比較して再構成誤差が14％以上低減され、画像再構成では58％の低減が達成された。
• PDE問題において、RAFsは標準的な深層学習ソルバーと比較して誤差を73％低減した。
• 固有値問題において、従来手法と比較して誤差を最大99％まで低減した。
• ニューラルタングェントカーネル（NTK）の条件数は、RAFsを用いた場合、従来の活性化関数と比較して顕著に低く抑えられ、最適化の安定性が向上していることが示された。
• RAFsは、フーリエ基底やウェーブレット基底といった古典的近似系を模倣することで、次元に依存しない指数的近似レートを達成した。
• 実験的結果から、RAFsにおけるスケーリングパラメータ（例：ガウス関数に対して0.1）がNTKにおける振動応答を強化し、高周波数問題における性能向上に寄与することが明らかになった。