[論文レビュー] A Polynomial Neural Network with Controllable Precision and Human-Readable Topology for Prediction and System Identification.

Gang Liu, Jing Wang|arXiv (Cornell University)|Apr 8, 2020

Neural Networks and Applications参考文献 20被引用数 9

ひとこと要約

本稿では、テイラー展開に類似した構造を用いて、近似精度を深さによって正確に制御可能で、内部メカニズムが透明な、制御可能で解釈可能な多項式ニューラルネットワーク（CR-PNN）を提案する。CR-PNNは、標準的なANNと比較して学習が5倍速く、推論が10倍速く、合成データおよび実世界のデータにおいて優れた汎化性能とグローバル最適化能力を示す。

ABSTRACT

Although artificial neural networks (ANNs) are successful, there is still a concern among many over their black box nature. Why do they work? Could we design a transparent network? This paper presents a controllable and readable polynomial neural network (CR-PNN) for approximation, prediction, and system identification. CR-PNN is simple enough to be described as one small formula, so that we can control the approximation precision and explain the internal structure of the network. CR-PNN, in fact, essentially is the fascinating Taylor expansion in the form of network. The number of layers represents precision. Derivatives in Taylor expansion are exactly imitated by error back-propagation algorithm. Firstly, we demonstrated that CR-PNN shows excellent analysis performance to the black box system through ten synthetic data with noise. Also, the results were compared with synthetic data to substantiate its search easily towards the global optimum. Secondly, it was verified, by ten real-world applications, that CR-PNN brought better generalization capability relative to the typical ANNs that approximate depended on the nonlinear activation function. Finally, 200,000 repeated experiments, with 4898 samples, demonstrated that CR-PNN is five times more efficient than typical ANN for one epoch and ten times more efficient than typical ANN for one forward-propagation. In short, compared with the traditional neural networks, the novelties and advantages of CR-PNN include readability of the internal structure, easy to find global optimal solution, lower computational complexity, and likely better robustness to real-world approximation. (We're strong believers in Open Source, and provide CR-PNN code for others. GitHub: this https URL)

研究の動機と目的

• 従来の人工ニューラルネットワーク（ANN）のブラックボックス性を解消し、人間が理解可能なトポロジーを持つモデルを設計すること。
• 深さによって近似精度を正確に制御可能にし、テイラー級数展開に類似した構造を実現すること。
• 実世界の予測およびシステム同定タスクにおける汎化性能とロバスト性を向上させること。
• 標準的なANNと比較して、計算複雑性を低減し、学習および推論を高速化すること。
• 非線形活性化関数を避けることで、局所最適解に陥りにくいシンプルな凸型構造を実現し、グローバル最適化を容易にすること。

提案手法

• CR-PNNは多項式ネットワークとして構築されており、各層がテイラー展開における高次項に対応し、精度の系統的制御が可能である。
• 誤差逆伝播法を用いて微分を計算し、テイラー級数における微分計算を直接再現する。
• 数学的に簡潔な構造であり、単一の数式で表現可能で、透明性と解釈可能性を保証する。
• ネットワークの深さが近似精度を決定し、各層が高次項を追加する。
• 非線形活性化関数を避け、安定性と解釈可能性を高めるために多項式基底関数を用いる。
• 勾配降下法を多項式係数に対して適用することで学習を最適化し、効率的な収束を実現する。

実験結果

リサーチクエスチョン

• RQ1 人間が理解可能な構造を持つニューラルネットワークを設計でき、内部関数の完全な解釈が可能になるか？
• RQ2 テイラー展開に基づく多項式ネットワークは、実世界の応用において標準的なANNよりも優れた汎化性能を示すか？
• RQ3 深さによって、テイラー級数の次数に類似した方法で近似精度を系統的に制御可能か？
• RQ4 CR-PNNは、学習および推論において標準的なANNよりも計算効率が優れているか？
• RQ5 CR-PNNの単純化された凸型構造のおかげで、非線形活性化関数を用いるネットワークにありがちな局所最適解に陥らずにグローバル最適解に収束できるか？

主な発見

• CR-PNNは10の実世界応用において、標準的なANNと比較して優れた汎化性能を示した。
• 4,898件のサンプルを用いた200,000回の繰り返し実験において、CR-PNNは前向き伝播処理で標準的なANNの10倍速かった。
• CR-PNNは1エポックあたりの学習が標準的なANNの5倍速く、計算複雑性が低いことを示した。
• 10のノイズを含む合成データセットにおいて優れた性能を発揮し、ロバスト性と高精度な近似を確認した。
• CR-PNNの構造のおかげで、非線形活性化関数を用いるネットワークにありがちな局所最適解を避けるグローバル最適化が容易になった。
• ネットワークの透明で数式に基づいた設計により、内部関数および近似メカニズムの完全な解釈が可能になった。