[論文レビュー] A Polynomial Neural network with Controllable Precision and Human-Readable Topology II: Accelerated Approach Based on Expanded Layer.

Gang Liu, Jing Wang|arXiv (Cornell University)|Jun 4, 2020

Neural Networks and Applications参考文献 16被引用数 13

ひとこと要約

本稿では、計算効率を向上させるために拡張されたレイヤー構造を用いた、制御可能で解釈可能な多項式ニューラルネットワーク（CR-PNN II）の高速化版を提案する。テイラー級数近似をニューラルネットワーク枠組みで再定式化することで、CR-PNN Iに比べて顕著に高速な推論速度を達成しながらも、精度制御と人間が読み取り可能なトポロジーを維持し、リアルタイム予測やシステム同定タスクに適している。

ABSTRACT

How about converting Taylor series to a network to solve the black-box nature of Neural Networks? Controllable and readable polynomial neural network (Gang transform or CR-PNN) is the Taylor expansion in the form of network, which is about ten times more efficient than typical BPNN for forward-propagation. Additionally, we can control the approximation precision and explain the internal structure of the network; thus, it is used for prediction and system identification. However, as the network depth increases, the computational complexity increases. Here, we presented an accelerated method based on an expanded order to optimize CR-PNN. The running speed of the structure of CR-PNN II is significantly higher than CR-PNN I under preserving the properties of CR-PNN I.

研究の動機と目的

• 深層CR-PNNの順方向伝搬における計算複雑性の増大に対処すること。
• 計算効率を向上させつつも、CR-PNNの制御可能精度と人間が読み取り可能な構造を維持すること。
• 元のCR-PNNフレームワークの解釈可能性と正確性を保ちながら、高速化されたアーキテクチャを開発すること。
• パフォーマンス最適化を通じて、多項式ニューラルネットワークをリアルタイム応用に実用化可能にする。

提案手法

• 拡張されたレイヤー構造を導入し、CR-PNNの計算フローを再編成することで、重複する演算を削減する。
• テイラー級数近似を構造的で人間が読み取り可能な重みと活性化関数を持つニューラルネットワークとして再定式化する。
• 拡張されたレイヤーにより並列処理と最適化された計算パスが可能となり、深さに起因する複雑性が低減される。
• アーキテクチャはCR-PNN Iと同一の数学的基盤を維持しているが、構造的再設計によって実行速度が向上する。
• ネットワークのトポロジーは解釈可能であり、各レイヤーがテイラー展開における多項式項に対応する。

実験結果

リサーチクエスチョン

• RQ1 CR-PNNの計算効率を、精度制御を損なわずどのように向上させられるか？
• RQ2 拡張されたレイヤー構造は、CR-PNNの解釈可能性と正確性を維持しながら推論速度を向上させられるか？
• RQ3 新アーキテクチャは元のCR-PNN Iに比べてどの程度のパフォーマンス向上を達成するか？
• RQ4 拡張されたレイヤーは、より深いネットワークにおけるCR-PNNのスケーラビリティにどのように影響するか？

主な発見

• CR-PNN IIは、元のモデルのすべての重要な特性を維持しながら、CR-PNN Iに比べて顕著に高速な実行速度を達成した。
• 拡張されたレイヤー構造は、近似精度を損なわず計算複雑性を効果的に低減した。
• ネットワークは完全に解釈可能であり、各レイヤーがテイラー級数展開における項に対応する。
• この手法により、より高速な順方向伝搬が可能となり、モデルはリアルタイム予測やシステム同定に適したものとなった。