[論文レビュー] ChebNet: Efficient and Stable Constructions of Deep Neural Networks with Rectified Power Units via Chebyshev Approximations

Shanshan Tang, Bo Li+1 more|arXiv (Cornell University)|Nov 7, 2019

Neural Networks and Applications被引用数 8

ひとこと要約

この論文は、整流された累乗ユニット（RePU）とチェビシェフ多項式近似を用いた、安定で高精度な関数近似を実現する新しい深層ニューラルネットワークアーキテクチャ、ChebNetを提案する。周波数ドメインにおける階層的チェビシェフ展開を活用することで、スペクトル的精度を達成する最適な近似複雑度が可能となり、近似誤差なしで、安定性とファインチューニング性能において、パワー級数に基づくRePUネットワークを上回る。

ABSTRACT

In a previous study [B. Li, S. Tang and H. Yu, Commun. Comput. Phy. 27(2):379-411, 2020], it is shown that deep neural networks built with rectified power units (RePU) as activation functions can give better approximation for sufficient smooth functions than those built with rectified linear units, by converting polynomial approximations using power series into deep neural networks with optimal complexity and no approximation error. However, in practice, power series approximations are not easy to obtain due to the associated stability issue. In this paper, we propose a new and more stable way to construct RePU deep neural networks based on Chebyshev polynomial approximations. By using a hierarchical structure of Chebyshev polynomial approximation in frequency domain, we obtain efficient and stable deep neural network construction, which we call ChebNet. The approximation of smooth functions by ChebNets is no worse than the approximation by deep RePU nets using power series. On the same time, ChebNets are much more stable. Numerical results show that the constructed ChebNets can be further fine-tuned to obtain much better results than those obtained by tuning deep RePU nets constructed by power series approach. As spectral accuracy is hard to obtain by direct training of deep neural networks, ChebNets provide a practical way to obtain spectral accuracy, it is expected to be useful in real applications that require efficient approximations of smooth functions.

研究の動機と目的

• 滑らかな関数のための深層RePUネットワークを構築する際のパワー級数近似の数値的不安定性を解消すること。
• 既存のRePUベースの深層ニューラルネットワーク構築法の代替として、より安定的で効率的な手法を開発すること。
• 近似誤差なしに、深層RePUネットワークを用いてスペクトル的精度の関数近似を達成すること。
• 実用的でファインチューナブルな深層ネットワークを実現し、パワー級数に基づくRePUネットワークの近似品質を上回ること。

提案手法

• 周波数ドメインにおける階層的チェビシェフ多項式近似を用いて、不安定なパワー級数展開に代わる深層RePUネットワークを構築する。
• 高次多項式のチェビシェフ多項式を、テンソル積構造を介して低次多項式成分に再帰的に分解する。
• 変換行列 $ S_k $ を用いて、多項式層とRePUネットワーク層間の係数変換を実施し、チェビシェフ展開の正確な表現を保証する。
• 多段階分解を適用：各層の出力を、次数が増加するスケーリング付きのチェビシェフ多項式の和として表現し、$ T_{s^k}(x) $ を用いて再帰的に分解する。
• 特に $ s=2 $ および $ s=3 $ の場合の $ S_k $ の明示的行列表現を導出することで、効率的なネットワーク構築を可能にする。
• 標準的なバックプロパゲーションと組み合わせることで、エンドツーエンドのファインチューニングが可能となる、チェビシェフベースのRePUネットワークを統合する。

実験結果

リサーチクエスチョン

• RQ1 チェビシェフ多項式近似は、深層RePUネットワークの構築において、パワー級数の代替としてより安定した手法を提供できるか？
• RQ2 階層的チェビシェフ分解は、RePUネットワークの最適近似複雑度を保持できるか？
• RQ3 ChebNetsは、スペクトル的精度の関数近似を達成でき、パワー級数に基づくRePUネットワークを上回るか、同等の性能を発揮できるか？
• RQ4 ChebNetsのファインチューニング性能は、パワー級数に基づくRePUネットワークと比較してどうなるか？

主な発見

• ChebNetsは、パワー級数に基づくRePUネットワークと同等以上の近似精度を達成し、最適な複雑度を維持し、近似誤差はゼロである。
• ChebNetsは、係数計算における不安定性を抱えるパワー級数に基づくRePUネットワークと比較して、顕著に優れた数値的安定性を示した。
• 数値実験の結果、ChebNetsはパワー級数に基づくRePUネットワークよりも著しく優れた性能にファインチューニング可能であることが示された。
• ChebNetsは、直接学習によっては困難であるが、実用的にスペクトル的精度を達成する深層ネットワーク近似を可能にした。
• 特に $ s=2 $ および $ s=3 $ の場合に導出された変換行列 $ S_k $ は、チェビシェフ係数をRePUネットワーク重みに正確かつ効率的に変換可能である。