[論文レビュー] Dendrite Net: A White-Box Module for Classification, Regression, and System Identification

Gang Liu, Jing Wang|arXiv (Cornell University)|Apr 8, 2020

Neural Networks and Applications参考文献 27被引用数 15

ひとこと要約

Dendrite Net (DD) は、生物学的樹状棘計算にインspiredされた白箱型機械学習モジュールであり、分類、回帰、システム同定に適している。入出力関係を解釈可能な論理式（AND/OR/NOT）でモデル化し、MLPベースのモデルと比較して優れた汎化性能と高速な推論を達成している。複数のベンチマークで精度、耐障害性、計算効率の向上が実証された。

ABSTRACT

The simulation of biological dendrite computations is vital for the development of artificial intelligence (AI). This paper presents a basic machine learning algorithm, named Dendrite Net or DD, just like Support Vector Machine (SVM) or Multilayer Perceptron (MLP). DD's main concept is that the algorithm can recognize this class after learning, if the output's logical expression contains the corresponding class's logical relationship among inputs (and$\backslash$or$\backslash$not). Experiments and main results: DD, a white-box machine learning algorithm, showed excellent system identification performance for the black-box system. Secondly, it was verified by nine real-world applications that DD brought better generalization capability relative to MLP architecture that imitated neurons' cell body (Cell body Net) for regression. Thirdly, by MNIST and FASHION-MNIST datasets, it was verified that DD showed higher testing accuracy under greater training loss than Cell body Net for classification. The number of modules can effectively adjust DD's logical expression capacity, which avoids over-fitting and makes it easy to get a model with outstanding generalization capability. Finally, repeated experiments in MATLAB and PyTorch (Python) demonstrated that DD was faster than Cell body Net both in epoch and forward-propagation. The main contribution of this paper is the basic machine learning algorithm (DD) with a white-box attribute, controllable precision for better generalization capability, and lower computational complexity. Not only can DD be used for generalized engineering, but DD has vast development potential as a module for deep learning. DD code is available at GitHub: https://github.com/liugang1234567/Gang-neuron .

研究の動機と目的

• 生物学的樹状棘機能にインspiredされた、モデルの透明性を向上させる新しい解釈可能な機械学習モジュールの開発。
• ブラックボックス型ディープラーニングモデルの限界を克服するため、制御可能な論理式表現能力を備えた白箱型アーキテクチャの導入。
• 標準的なMLPアーキテクチャと比較して、回帰および分類タスクにおける汎化性能の向上。
• 解釈可能な論理モデリングを用いて、ブラックボックス型動的システムの効率的同定を可能にすること。
• 多様な学習タスクにおいて、モデルの正確性を維持または向上させつつ、計算複雑性を低減すること。

提案手法

• DDは、入力特徴量に対するAND、OR、NOT演算から成る論理式構造を用いて、入出力関係をモデル化する。
• ネットワークアーキテクチャは、生物学的ニューロンにおける樹状棘計算を模倣しており、各モジュールが論理式の構成要素を表す。
• 論理モジュールの数によってモデル容量を制御でき、過学習を避けることができる複雑な関係のスケーラブル表現が可能である。
• 学習は、損失を最小化するように論理式のパラメータを最適化することを目的とし、解釈可能性と汎化性能に重点を置く。
• PyTorchおよびMATLABの両方でエンドツーエンド学習が可能であり、実用的導入およびベンチマークが可能である。
• 明示的な論理構造のおかげで、前方伝搬が計算的に効率的であり、計算オーバーヘッドが低減される。

実験結果

リサーチクエスチョン

• RQ1 樹状棘論理式に基づく白箱型機械学習モデルは、回帰タスクにおける汎化性能で標準的なMLPを上回ることができるか？
• RQ2 解釈可能な論理式を用いることで、高い訓練損失条件下でも分類精度が向上するか？
• RQ3 DDは、システム同定を通じて未知のブラックボックス型動的システムを効果的に同定できるか？
• RQ4 DDにおける論理モジュールの数が、モデルの表現力および汎化性能にどのように影響するか？
• RQ5 訓練および推論において、従来のMLPベースのモデルと比較して、DDの計算効率はどの程度か？

主な発見

• MNISTおよびFashion-MNISTデータセットにおいて、DDは、Cell Body Net（MLPベースのモデル）よりも高いテスト精度を達成した。これは、高い訓練損失条件下でも同様に成立した。
• 9つの実世界の回帰応用において、DDはMLPベースのアーキテクチャと比較して優れた汎化能力を示した。
• ブラックボックス型動的システムのシステム同定において、DDは優れた性能を発揮し、複雑な入出力関係のモデリングにおける有効性を確認した。
• 前方伝搬および訓練エポックにおいて、DDはCell Body Netよりも高速であった。これは、効率的な論理計算構造に起因する。
• DDにおけるモジュール数は、論理式表現能力を効果的に制御でき、過学習を避ける強固な汎化を可能にした。
• DDの白箱型特性により、学習済み意思決定ルールの正確な解釈が可能であり、標準的なディープラーニングモデルには見られない透明性を提供した。