[論文レビュー] Random vector functional link network: recent developments, applications, and future directions

Anshika Malik, Ruobin Gao+3 more|arXiv (Cornell University)|Feb 13, 2022

Machine Learning and ELM被引用数 6

ひとこと要約

本稿は、ランダムベクトル機能リンク（RVFL）ネットワークの包括的レビューを提供しており、浅い構造から深層およびアンサンブル型の変種へと進化した歴史をカバーしている。高速なトレーニング、普遍的近似、回帰、分類、関数近似への応用に重点を置いている。不安定性の原因となるランダム特徴量の影響といった主な課題を特定し、将来の方向性としてハイパーパrameter最適化、特徴選択、グラフデータおよびオンライン学習への適応を提案している。

ABSTRACT

Neural networks have been successfully employed in various domains such as classification, regression and clustering, etc. Generally, the back propagation (BP) based iterative approaches are used to train the neural networks, however, it results in the issues of local minima, sensitivity to learning rate and slow convergence. To overcome these issues, randomization based neural networks such as random vector functional link (RVFL) network have been proposed. RVFL model has several characteristics such as fast training speed, direct links, simple architecture, and universal approximation capability, that make it a viable randomized neural network. This article presents the first comprehensive review of the evolution of RVFL model, which can serve as the extensive summary for the beginners as well as practitioners. We discuss the shallow RVFLs, ensemble RVFLs, deep RVFLs and ensemble deep RVFL models. The variations, improvements and applications of RVFL models are discussed in detail. Moreover, we discuss the different hyperparameter optimization techniques followed in the literature to improve the generalization performance of the RVFL model. Finally, we give potential future research directions/opportunities that can inspire the researchers to improve the RVFL's architecture and learning algorithm further.

研究の動機と目的

• 研究者および実務家向けに、RVFLモデルの進化と応用について体系的かつ最新のレビューを提供すること。
• RVFL性能における主な課題、たとえばランダム特徴量生成に起因する不安定性や、最適でない一般化性能といった問題を特定・分析すること。
• アンサンブルおよび深層学習技術をRVFLに統合することで、より高いロバスト性と精度を実現する方法を検討すること。
• オンライン学習、グラフデータ処理、マルチラベル学習といった未だ十分に検討されていない研究分野を強調すること。
• ランダム化ニューラルネットワークの公平な性能比較を可能にするため、標準化されたベンチマークの導入を提言すること。

提案手法

• 浅い構造、アンサンブル型、深層型、およびアンサンブル-深層型RVFLモデルを含む、RVFL変種の体系的文献レビュー。
• 一般化性能の向上を目的としたベイズ最適化やレイヤーごとのチューニングを含むハイパーパrameter最適化手法の分析。
• ランダム特徴量に由来する冗長な情報の削減を目的とした特徴選択およびプルーニング手法の検討。
• 高次元のランダム特徴量を扱うための次元削減およびダブル正則化戦略の調査。
• 入出力関係における一次微分情報の捕捉を目的とした、RVFLにおける直接リンク統合の検討。
• 新たなアーキテクチャ拡張を通じて、グラフ構造データおよび空間時系列時系列データへのRVFLの適応可能性に関する考察。

実験結果

リサーチクエスチョン

• RQ1 アンサンブル型および深層型RVFLアーキテクチャは、標準的なRVFLモデルに比べて、一般化性能と性能をどのように向上させるか？
• RQ2 RVFLモデルの精度と安定性を向上させるために、最も効果的なハイパーパrameter最適化手法は何か？
• RQ3 冗長または劣悪なランダム特徴量を効果的に選別またはプルーニングすることで、RVFLの性能をどのように向上させられるか？
• RQ4 グラフ構造データや空間時系列時系列といったi.i.d.でないデータに対して、RVFLはどのように適応可能か？
• RQ5 教師なし学習、マルチラベル学習、オンライン学習のシナリオへのRVFLの拡張のための実現可能な道筋は何か？

主な発見

• RVFLネットワークは、隠れ層におけるランダム重みと出力重みの解析的解法のおかげで、高速なトレーニングと普遍的近似を達成する。
• アンサンブル型および深層型RVFLモデルは、単一のRVFLネットワークに比べて、性能と安定性が顕著に向上している。
• ベイズ最適化を用いたレイヤーごとのハイパーパrameterチューニングにより、アンサンブル深層RVFL（edRVFL）モデルの一般化能力が向上する。
• 特徴選択およびプルーニング手法により、ランダム特徴量に起因するノイズが低減され、モデルの効率性と精度が向上する。
• 信号分解から得られる高次元のランダム特徴量は、次元削減またはダブル正則化により効果的に管理できる。
• ランダム化ニューラルネットワークの公平な性能比較を可能にするために、標準化されたベンチマークの整備が急務である。