[論文レビュー] ChebNet: Efficient and Stable Constructions of Deep Neural Networks with Rectified Power Units using Chebyshev Approximations.

Shanshan Tang, Bo Li+1 more|arXiv (Cornell University)|Nov 7, 2019

Neural Networks and Applications参考文献 48被引用数 22

ひとこと要約

本稿では、チェビシェフ多項式近似を用いて再活性化関数（RePU）ネットワークを構築する、安定的かつ効率的な深層ニューラルネットワークアーキテクチャであるChebNetを提案する。周波数ドメインにおける階層的チェビシェフ展開に従ってべき級数近似を置き換えることで、ChebNetはべき級数に基づくRePUネットワークと同等の理論的近似バウンドを達成するが、実際の計算においては著しく向上した数値的安定性と性能を示す。

ABSTRACT

In a recent paper [B. Li, S. Tang and H. Yu, arXiv:1903.05858], it was shown that deep neural networks built with rectified power units (RePU) can give better approximation for sufficient smooth functions than those with rectified linear units, by converting polynomial approximation given in power series into deep neural networks with optimal complexity and no approximation error. However, in practice, power series are not easy to compute. In this paper, we propose a new and more stable way to construct deep RePU neural networks based on Chebyshev polynomial approximations. By using a hierarchical structure of Chebyshev polynomial approximation in frequency domain, we build efficient and stable deep neural network constructions. In theory, ChebNets and the deep RePU nets based on Power series have the same upper error bounds for general function approximations. But numerically, ChebNets are much more stable. Numerical results show that the constructed ChebNets can be further trained and obtain much better results than those obtained by training deep RePU nets constructed basing on power series.

研究の動機と目的

• 深層RePUニューラルネットワークを構築する際のべき級数近似における数値的不安定性と計算の難易度を解消すること。
• 最適な近似複雑度を維持しつつ、べき級数に基づくRePUネットワークの代替としてより安定性の高い手法を開発すること。
• 構築段階での数値的条件数の改善を通じて、深層RePUネットワークの実用的導入を可能にすること。
• チェビシェフに基づく構築法が、べき級数に基づくRePUネットワークよりも、安定性および最終的なモデル性能の両面で優れていることを示すこと。

提案手法

• 周波数ドメインにおいて、従来のべき級数展開に代えて階層的チェビシェフ多項式近似を用いて深層RePUネットワークを構築する。
• チェビシェフ多項式の等波動性および安定性の性質を活用し、ネットワーク構築段階での数値的条件数を改善する。
• 最適な近似複雑度を達成するために、多項式近似を深層残差型アーキテクチャにマッピングする。
• 周波数ドメインでの分解戦略を用いて、制御された誤差バウンドを持つ多段階近似を体系的に構築する。
• チェビシェフ展開の構造を模倣したネットワークアーキテクチャを設計することで、効率的かつ安定的なパrameterizationを実現する。
• べき級数に基づくRePUネットワークと同等の理論的上界誤差バウンドを維持しつつ、数値的ロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 チェビシェフ多項式近似は、深層RePUネットワークを構築する際のべき級数近似の代替として、より数値的に安定した手法を提供できるか？
• RQ2 階層的チェビシェフ近似を用いることで、べき級数に基づくRePUネットワークと同等の理論的近似誤差バウンドを維持できるか？
• RQ3 訓練過程におけるChebNetsの数値的安定性は、べき級数に基づくRePUネットワークと比べてどのように異なるか？
• RQ4 エンドツーエンドの訓練後、ChebNetsはべき級数に基づくRePUネットワークよりも優れた一般化性能を達成できるか？
• RQ5 チェビシェフ多項式による周波数ドメインでの分解が、深層RePUネットワークの全体的な効率性および収束性に及ぼす影響は何か？

主な発見

• ChebNetsは、べき級数に基づくRePUネットワークと同等の理論的上界誤差バウンドを関数近似において達成する。
• 構築段階において、べき級数に基づくRePUネットワークと比較して、ChebNetsは著しく向上した数値的安定性を示す。
• 数値実験の結果、ChebNetsは正常に訓練可能であり、訓練後においてもべき級数に基づくRePUネットワークを上回る性能を示す。
• チェビシェフ近似の階層的構造により、制御された近似誤差を伴う効率的かつ安定的な深層ネットワーク構築が可能になる。
• チェビシェフに基づくRePUネットワークは、数値的条件数の向上により、実用的な訓練シナリオにおいて、べき級数の代替よりも優れた性能を発揮する。
• 提案手法は、べき級数計算に内在する不安定性の問題を解消しつつ、最適な近似複雑度を維持する。