[論文レビュー] Random Vector Functional Link Neural Network based Ensemble Deep Learning

Rakesh Katuwal, Ponnuthurai Nagaratnam Suganthan+1 more|arXiv (Cornell University)|Jun 30, 2019

Machine Learning and ELM参考文献 40被引用数 25

ひとこと要約

本稿では、閉形式の出力重み計算を伴うランダムに生成された固定された隠れ層重みを活用する深層ランダムベクターファンクショナルリンク（dRVFL）ニューラルネットワークと、アンサンブル版（edRVFL）を提案する。複数のランダム化層をスタックし、1回の学習ランでアンサンブル学習を統合することにより、多様なベンチマークデータセットにおいて、浅層的なRVFLや従来のディープラーニングモデルを凌駆する優れた汎化性能と効率性を達成した。

ABSTRACT

In this paper, we propose a deep learning framework based on randomized neural network. In particular, inspired by the principles of Random Vector Functional Link (RVFL) network, we present a deep RVFL network (dRVFL) with stacked layers. The parameters of the hidden layers of the dRVFL are randomly generated within a suitable range and kept fixed while the output weights are computed using the closed form solution as in a standard RVFL network. We also propose an ensemble deep network (edRVFL) that can be regarded as a marriage of ensemble learning with deep learning. Unlike traditional ensembling approaches that require training several models independently from scratch, edRVFL is obtained by training a single dRVFL network once. Both dRVFL and edRVFL frameworks are generic and can be used with any RVFL variant. To illustrate this, we integrate the deep learning networks with a recently proposed sparse-pretrained RVFL (SP-RVFL). Extensive experiments on benchmark datasets from diverse domains show the superior performance of our proposed deep RVFL networks.

研究の動機と目的

• 従来のバックプロパゲーションに基づくディープニューラルネットワークの限界（高コストな学習、収束性の悪さ、大量データの必要性）を解消するため、ランダム化ニューラルネットワークに基づくディープラーニングフレームワークを提案すること。
• 既存のマルチレイヤーランダムRVFLネットワークの性能が最適でない問題を克服するため、RVFLの利点を保ちつつ階層的特徴学習を可能にするより深いアーキテクチャを設計すること。
• 複数のモデルを独立して学習するのではなく、1回の学習ランで多様なベースモデルを生成する効率的なアンサンブル手法（edRVFL）を開発し、従来のアンサンブル手法と比較して計算コストを低減すること。
• dRVFLおよびedRVFLフレームワークの汎用性を実証するため、スパース事前学習済みRVFLバージョン（SP-RVFL）を統合し、表現学習を向上させること。
• 複数の分野にまたがる多様で現実世界のデータセットを用いて、提案モデルの妥当性を検証し、精度と一般化性能の両面で一貫した優位性を示すこと。

提案手法

• 隠れ層の重みとバイアスをランダムに初期化し固定する複数のスタックされた隠れ層を備えた深層RVFL（dRVFL）ネットワークを提案し、出力重みは最小二乗最適化を用いた閉形式解で計算する。
• 1回の学習ランで入力または隠れ層パラメータにランダムな摂動を加えることで多様なベースモデルを生成するアンサンブルディープラーニングフレームワーク（edRVFL）を導入し、複数のネットワークを独立して学習する必要を回避する。
• 標準的なRVFLと同様に、入力層から出力層への直接スキップ接続を採用することで、モデルの正則化を図り、特徴の再利用を促進し、特にデータが少ない状況でも一般化性能を向上させる。
• スパース事前学習済みRVFL（SP-RVFL）バージョンを深層フレームワークに統合し、隠れ層パラメータをランダム初期化ではなくスパースオートエンコーダーを用いて学習することで、特徴表現の質を向上させる。
• edRVFLでは、1回の順方向伝搬で複数のランダム化を生成し、アンサンブルメンバーを多様化する。これにより、複数のディープネットワークを独立して学習するのと比較して、著しく学習コストを削減できる。
• 13個のベンチマークデータセット全体でベースラインモデルとの性能向上の有意性を検証するため、統計的検定（Friedman検定およびNemenyi検定）を適用する。

実験結果

リサーチクエスチョン

• RQ1 RVFL原理に基づくディープニューラルネットワークアーキテクチャは、多様なデータセットにおいて、浅層的RVFLおよび標準的ディープネットワークよりも優れた一般化性能を達成できるか？
• RQ2 提案されたedRVFLフレームワークは、1回の学習ランで実現するが、従来のアンサンブルと同等の性能を達成できるか？ また、計算コストを著しく低減できるか？
• RQ3 RVFLフレームワークにスパース事前学習を統合すると、ディープおよびアンサンブルディープネットワークの性能にどのような影響を与えるか？
• RQ4 dRVFLおよびedRVFLフレームワークは、SP-RVFLなどのさまざまなRVFLバージョンと組み合わせて使用可能であり、多様な学習タスクにおいて性能向上を実現できるほど汎用的か？
• RQ5 dRVFLおよびedRVFLがELM、RVFL、SP-RVFLなどの既存モデルを上回る性能向上を達成した場合、その有意性は13個のベンチマークデータセット全体で統計的に確認できるか？

主な発見

• dSP-RVFLおよびedSP-RVFLモデルは13のデータセットで平均94.29%の精度を達成し、ベースラインのSP-RVFL（91.7%）を有意に上回り、Friedman検定のp値は0.05未満であった。
• edSP-RVFLモデルは平均Friedman順位2.03を達成し、ELM（順位10）およびdRVFL（-O）（順位8.73）をすべて上回り、全体的な性能が優れていることを示した。
• MNISTデータセットではedSP-RVFLが95.02%の精度を達成し、SP-RVFLの91.26%から3.76%の向上を示し、画像分類タスクにおける強力な性能を示した。
• COIL20データセットでは、edSP-RVFL（99.72%）がdSP-RVFL（98.96%）を1.0%上回る精度を達成し、複雑なデータセットにおいてアンサンブル学習の有効性が顕著に現れた。
• Nemenyi検定により、dSP-RVFLおよびedSP-RVFLはSP-RVFLよりも統計的に有意に優れており、臨界差（CD）は0.92、検定統計量（F_F）は71.23であり、有意水準α=0.05で帰無仮説を棄却した。
• edRVFLフレームワークは平均94.29%の精度とFriedman順位2.3を達成し、RCV1およびTDT2を含むすべてのテストデータセットで一貫した性能向上を示した。