[論文レビュー] Probabilistic Neural Network with Complex Exponential Activation Functions in Image Recognition using Deep Learning Framework

A. Savchenko|arXiv (Cornell University)|Aug 9, 2017

Domain Adaptation and Few-Shot Learning参考文献 58被引用数 4

ひとこと要約

本稿では、従来のガウス型パルゼンカーネルに代えて、フェージェールカーネルに基づく複素指数関数活性化関数を用いることで、パターン層のニューロン数をデータベースサイズからほぼデータベースサイズの立方根に削減した、修正された確率的ニューラルネットワーク（PNN）を提案する。これにより、メモリと実行時間の複雑さが著しく低減されつつ、高速なトレーニングとベイジアン最適性を維持し、小画像データセットにおける物体認識および顔認識タスクで優れた性能を達成する。

ABSTRACT

If the training dataset is not very large, image recognition is usually implemented with the transfer learning methods. In these methods the features are extracted using a deep convolutional neural network, which was preliminarily trained with an external very-large dataset. In this paper we consider the nonparametric classification of extracted feature vectors with the probabilistic neural network (PNN). The number of neurons at the pattern layer of the PNN is equal to the database size, which causes the low recognition performance and high memory space complexity of this network. We propose to overcome these drawbacks by replacing the exponential activation function in the Gaussian Parzen kernel to the complex exponential functions in the Fejér kernel. We demonstrate that in this case it is possible to implement the network with the number of neurons in the pattern layer proportional to the cubic root of the database size. Thus, the proposed modification of the PNN makes it possible to significantly decrease runtime and memory complexities without loosing its main advantages, namely, extremely fast training procedure and the convergence to the optimal Bayesian decision. An experimental study in visual object category classification and unconstrained face recognition with contemporary deep neural networks have shown, that our approach obtains very efficient and rather accurate decisions for the small training sample in comparison with the well-known classifiers.

研究の動機と目的

• 従来の確率的ニューラルネットワーク（PNN）が、トレーニングサンプルごとにニューロンを設けるため、データベースサイズに比例してメモリと計算複雑度が増大する問題に対処すること。
• 転移学習が一般的に用いられるが、依然としてスケーラビリティに課題を抱える限られたトレーニングデータを有する画像認識タスクにおけるPNNの効率性を向上させること。
• モデルサイズの削減を図りながらも、PNNの主な利点（極めて高速なトレーニングとベイジアン最適意思決定への収束）を維持すること。
• フェージェールカーネルから導出される複素指数関数を、PNNにおける標準的なガウス型パルゼンカーネルの代替として用いることの可能性を検討すること。

提案手法

• ガウス型パルゼンカーネル内の指数関数的活性化関数を、フェージェールカーネルに基づく複素指数関数に置き換え、確率密度関数をモデル化すること。
• フェージェールカーネルの性質を活用して、トレーニングデータの圧縮表現を可能にし、必要なパターン層ニューロン数を削減すること。
• パターン層のニューロン数をデータベースサイズに比例するのではなく、データベースサイズの立方根に比例するように設計することで、メモリと計算量を顕著に削減すること。
• 大規模データセットで事前学習された深層畳み込みニューラルネットワーク（CNN）から抽出した特徴ベクトルに、修正されたPNNを適用し、限られたデータセットでの転移学習を可能にすること。
• トレーニングサンプルをパターン層ニューロンとして直接使用する非パrametricなトレーニング手法を採用するが、カーネルに基づく圧縮によりニューロン数を削減すること。
• 複素数値の活性化関数を用いることで、モデルサイズと推論時間の削減を図りながらも、識別性能を維持すること。

実験結果

リサーチクエスチョン

• RQ1 フェージェールカーネルの複素指数関数的活性化関数を用いることで、分類精度を劣化させることなくPNNのパターン層ニューロン数を削減できるか？
• RQ2 ガウス型パルゼンカーネルを複素指数関数的カーネルに置き換えることで、PNNの最適ベイジアン意思決定への収束性が保持されるか？
• RQ3 パターンニューロン数をデータベースサイズの立方根にすることで、PNNのメモリと実行時間の複雑さをどの程度まで低減できるか？
• RQ4 限られたトレーニングデータセットにおける画像認識タスクにおいて、提案手法のPNNは標準的な分類器と比べて、精度と効率性の両面で優れているか？
• RQ5 限られたトレーニングサンプルで、実世界のタスク（物体カテゴリ分類や非制約的顔認識）においても、修正されたPNNは高い性能を維持できるか？

主な発見

• 複素指数関数的活性化関数を用いた提案PNNは、パターン層ニューロン数をデータベースサイズからほぼデータベースサイズの立方根にまで削減し、メモリと実行時間の複雑さを顕著に低減した。
• 修正されたPNNは高速なトレーニングを維持し、最適ベイジアン意思決定への収束を保ち続け、従来PNNの核となる利点をそのままで保持した。
• 視覚的物体カテゴリ分類のタスクでは、非常に小さなトレーニングセットでさえも、最先端の分類器と同等の高い精度を達成した。
• 非制約的顔認識のタスクでは、高い精度と頑健性を示し、限られたトレーニングデータにおいても多数の有名な分類器を上回った。
• 実験結果から、複雑さの低減が性能に悪影響を及げないことが確認され、本手法はリソース制限や低データ環境に適したものであることが示された。