[論文レビュー] Insect cyborgs: Biological feature generators improve machine learning accuracy on limited data.

Charles B. Delahunt, J. Nathan Kutz|arXiv (Cornell University)|Aug 23, 2018

Neurobiology and Insect Physiology Research参考文献 20被引用数 4

ひとこと要約

本論文では、ミツバチの嗅覚系を模倣した計算モデルであるMothNetによって強化された機械学習モデル——昆虫サイボーグ——を提案する。これは、限られたデータで動作するタスクの性能を向上させるための自動特徴抽出機構として機能する。競合的抑制とヘブ学習の生物学的神経ネットワーク原理を活用することで、MothNetが生成する特徴は、ベクトル化されたMNISTデータセットにおいて、標準的な機械学習分類器の精度を6%から33%まで向上させた。

ABSTRACT

Machine learning (ML) classifiers always benefit from more informative input features. We seek to auto-generate stronger feature sets in order to address the difficulty that ML methods often experience given limited training data. A wide range of biological neural nets (BNNs) excel at fast learning, implying that they are adept at extracting informative features. We can thus look to BNNs for tools to improve ML performance in this low-data regime. The olfactory network learns new odors very rapidly, by means of three key elements: A competitive inhibition layer; a high-dimensional sparse plastic layer; and Hebbian updates of synaptic weights. In this work, we deployed MothNet, a computational model of the olfactory network, as an automatic feature generator: Attached as a front-end pre-processor, its Readout Neurons provided new features, derived from the original features, for use by standard ML classifiers. We found that these insect cyborgs, i.e. classifiers that are part-insect model and part-ML method, had significantly better performance than baseline ML methods alone on a vectorized MNIST dataset. The MothNet feature generator also substantially out-performed other feature generating methods such as PCA, PLS, and NNs, as well as pre-training to initialize NN weights. Cyborgs improved relative test set accuracy by an average of 6% to 33% depending on baseline ML accuracy, while relative reduction in test set error exceeded 50% for higher baseline accuracy ML models. These results indicate the potential value of BNN-inspired feature generators in the ML context.

研究の動機と目的

• 訓練データが限られている場合の機械学習性能の低さという課題に対処すること。
• 急速に学習できることが知られる生物学的神経ネットワーク（BNN）が、機械学習におけるより優れた特徴抽出を可能にするかを検討すること。
• 鼻腔系の効率的特徴抽出を模倣した特徴生成手法を開発すること。
• 生物学的にインspiredな前処理を用いて、低データ環境下での標準的な機械学習分類器の性能を向上させること。

提案手法

• 機械学習パイプラインのフロントエンド前処理として、ミツバチの嗅覚系を模倣した計算モデルであるMothNetを導入する。
• MothNetのリーディングニューロンを用いて、元の入力データから高次元でスパースで柔軟な特徴を生成する。
• MothNet内での競合的抑制とヘブ学習に基づくシナプス重みの更新を適用し、特徴の識別能と適応性を向上させる。
• MothNetが生成した特徴を標準的な機械学習分類器に供給し、下流の分類タスクを実行する。
• MothNetが生成した特徴を用いて、標準的な機械学習分類器を訓練および評価し、ベースラインと比較する。
• テストセットの正答率と誤差率を用いて、PCA、PLS、ニューラルネットワーク、事前学習手法と性能をベンチマークする。

実験結果

リサーチクエスチョン

• RQ1 昆虫の嗅覚系を模倣した生物学的インスパイアモデルは、限られた訓練データにおける機械学習性能を向上させることができるか？
• RQ2 MothNetが生成する特徴抽出は、PCA や PLS といった従来の次元削減手法と比べてどのように異なるか？
• RQ3 低データ環境下において、MothNetを特徴生成器として用いることは、ニューラルネットワークの事前学習を上回るか？
• RQ4 昆虫サイボーグは、標準的な機械学習モデルと比較して、テストセット誤差をどの程度低減するか？
• RQ5 MothNetの生物学的メカニズム——競合的抑制、スパースな可塑性、ヘブ学習——は、特徴の質と分類精度にどのような影響を与えるか？

主な発見

• MothNetと標準的な機械学習分類器を組み合わせた昆虫サイボーグは、ベースラインモデルと比較して、テストセット正答率において6%から33%の相対的向上を達成した。
• MothNet特徴を用いることで、ベースライン正答率が高い機械学習モデルでは、テストセット誤差が50%以上も削減された。
• 低データ環境下において、MothNetが生成する特徴は、PCA や PLS、標準的なニューラルネットワークの特徴を顕著に上回った。
• MothNetの競合的抑制とヘブ可塑性を用いた特徴生成プロセスは、事前学習手法よりもより識別に優れた特徴を生成した。
• ベースラインモデルの初期正答率が高い場合に性能向上が顕著に現れたことから、MothNetがすでに優れたモデルをさらに最適化する有効性を持つことが示された。
• MothNetを前処理として統合することで、複数の評価指標において一貫した改善が得られ、その有効性が裏付けられた。