[論文レビュー] Progressive Operational Perceptron with Memory

Dat Thanh Tran, Serkan Kıranyaz+2 more|arXiv (Cornell University)|Aug 20, 2018

Neural Networks and Applications参考文献 33被引用数 16

ひとこと要約

この論文は、一般化された操作パーセプトロン（GOP）ネットワークの学習を高速化するため、計算複雑性を低減する効率的なプログレッシブ・オペレーショナル・パーセプトロン（POP）の変種であるPOPfastを提案する。記憶強化型アーキテクチャ（POPmem-HおよびPOPmem-O）を導入し、過去の層からの情報を保持する線形プロジェクション経路を備えることで、より深い、より識別性の高い表現を可能にし、行動認識、物体認識、顔認識、シーン認識のタスクにおいて、POPおよび他のベースラインを上回る優れた性能を発揮する。

ABSTRACT

Generalized Operational Perceptron (GOP) was proposed to generalize the linear neuron model in the traditional Multilayer Perceptron (MLP) and this model can mimic the synaptic connections of the biological neurons that have nonlinear neurochemical behaviours. Progressive Operational Perceptron (POP) is a multilayer network composing of GOPs which is formed layer-wise progressively. In this work, we propose major modifications that can accelerate as well as augment the progressive learning procedure of POP by incorporating an information-preserving, linear projection path from the input to the output layer at each progressive step. The proposed extensions can be interpreted as a mechanism that provides direct information extracted from the previously learned layers to the network, hence the term "memory". This allows the network to learn deeper architectures with better data representations. An extensive set of experiments show that the proposed modifications can surpass the learning capability of the original POPs and other related algorithms.

研究の動機と目的

• 一般化された操作パーセプトロン（GOP）ネットワークの学習に向けた、元々のプログレッシブ・オペレーショナル・パーセプトロン（POP）アルゴリズムの高い計算複雑性を低減すること。
• 以前に学習された層からの情報を保持する記憶メカニズムを組み込むことで、プログレッシブ学習を強化すること。
• アーキテクチャの拡張を通じて、より深いGOPネットワークの学習を可能にし、データ表現を向上させること。
• 提案されたアルゴリズムの性能を、人間の行動認識、物体認識、顔認識、シーン認識を含む多様な認識タスクにおいて評価すること。

提案手法

• GOPネットワークのための最適化されたトレーニング手順として、演算子集合探索の簡略化と段階的トレーニングによる計算複雑性の低減を図ったPOPfastを提案する。
• 線形プロジェクション経路を各プログレッシブステップに埋め込む2つのアーキテクチャ拡張（POPmem-HおよびPOPmem-O）を導入し、履歴情報の保持を可能にする。
• 単一隠れ層ネットワーク（SHLN）のトレーニングに、2パスの一般化情報探索（GIS）アルゴリズムを採用し、隠れ層および出力層のための演算子集合を反復的に最適化する。
• ノード（例：乗算、指数関数、調和平均）、プーリング（例：和、相関、最大値）、活性化関数（例：シグモイド、ReLU、tanh）を含む演算子ライブラリを用いる。
• 主成分分析（PCA）または線形判別分析（LDA）を用いて線形記憶パスを適用し、過去の層からの特徴をプロジェクションすることで、隠れ層および出力層が過去の知識にアクセス可能にする。
• 各新しい層が以前の層の情報を保持・統合しながらトレーニングされる段階的で階層的なネットワーク構築戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 GOPネットワークにおける学習性能を損なわずに、POPの計算複雑性を著しく低減できるか？
• RQ2 過去の層からの情報を保持する記憶パスを組み込むことで、GOPネットワークにおける表現品質および一般化性能にどのような影響を与えるか？
• RQ3 提案された記憶メカニズムにより、標準的なPOPと比較して、より深いGOPネットワークの学習が可能になり、特徴学習が向上するか？
• RQ4 異なる記憶プロジェクション技術（PCA対LDA）が、拡張されたPOPfastフレームワークにおける性能およびトレーニング効率に与える影響は何か？

主な発見

• POPfastは、すべてのテストデータセットで分類精度を維持または向上させつつ、元のPOPアルゴリズムよりも著しく高速なトレーニング時間を達成する。
• 直交プロジェクション記憶を備えたPOPmem-Oバージョンが、POPfastおよび他のベースラインを上回り、Caltech256およびCFW60Kデータセットの両方で最高の性能を発揮する。
• 記憶強化型バージョン（POPmem-OおよびPOPmem-H）は、常にPOPfastを上回り、補完的表現の明示的学習が特徴品質を向上させることを示している。
• 隠れ層と出力層の両方が記憶にアクセスできるPOPmem-Oアーキテクチャは、記憶にアクセスできるのは隠れ層のみのPOPmem-Hと比較して、優れた性能を発揮する。
• POPmem-Oのネットワークトポロジーをテンプレートとして用いても、GOPのみを用いるPOPfast*はPOPmem-Oに劣り、非線形GOPと線形記憶ニューロンの組み合わせがより効果的であることを証明する。
• パーセプトロンベースのベースライン（S-ELM、BLS、PLN）は高速ではあるが、分類精度が低く、ネットワークの深さが増すとPLNはPOPfast*に劣る。これは、GOPベースの学習に記憶を組み合わせることの優位性を示している。