[論文レビュー] Conditioning Optimization of Extreme Learning Machine by Multitask Beetle Antennae Swarm Algorithm

Xixian Zhang, Zhijing Yang+4 more|arXiv (Cornell University)|Nov 22, 2018

Machine Learning and ELM参考文献 16被引用数 4

ひとこと要約

本稿では、極端な学習マシン（ELM）の条件付けを最適化するため、入力重みとバイアスを知的に調整することで、ランダム初期化を回避する新しいマルチタスク・ビートルアンテナ群彩アルゴリズム（MBAS）を提案する。人工蜂コロニー（ABC）とビートルアンテナ探索（BAS）アルゴリズムの特徴を組み合わせることで、MBASは条件数と回帰誤差を低減し、ELMの汎化性能と安定性を著しく向上させる。

ABSTRACT

Extreme learning machine (ELM) as a simple and rapid neural network has been shown its good performance in various areas. Different from the general single hidden layer feedforward neural network (SLFN), the input weights and biases in hidden layer of ELM are generated randomly, so that it only takes a little computation overhead to train the model. However, the strategy of selecting input weights and biases at random may result in ill-posed problem. Aiming to optimize the conditioning of ELM, we propose an effective particle swarm heuristic algorithm called Multitask Beetle Antennae Swarm Algorithm (MBAS), which is inspired by the structures of artificial bee colony (ABS) algorithm and Beetle Antennae Search (BAS) algorithm. Then, the proposed MBAS is applied to optimize the input weights and biases of ELM. Experiment results show that the proposed method is capable of simultaneously reducing the condition number and regression error, and achieving good generalization performances.

研究の動機と目的

• ELMにおける入力重みとバイアスのランダム初期化によって引き起こされる不適切な問題を解決すること。
• 条件付けの最適化によって、ELMの数値的安定性と汎化性能を向上させること。
• 高次元探索空間における探索と活用のバランスを効果的にとる新しいメタヒューリスティックアルゴリズムの開発。
• トレーニング中にELM入力行列の条件数と回帰誤差を同時に最小化すること。
• 従来のELMの欠点であるランダム重み選択を回避する、堅牢で効率的な代替手法の提供。

提案手法

• 人工蜂コロニー（ABC）とビートルアンテナ探索（BAS）をインspiredとするハイブリッドメタヒューリスティックアルゴリズム、マルチタスク・ビートルアンテナ群彩アルゴリズム（MBAS）を提案する。
• MBASフレームワークにマルチタスク学習の原則を統合し、探索プロセスにおける収束性と多様性を向上させる。
• ハエの採餌行動を模倣する動的探索戦略を用い、適応度フィードバックに基づいてステップサイズを調整する。
• ELM入力行列の条件数とトレーニングデータ上の回帰誤差を組み合わせた適応度関数を定義する。
• MBASを繰り返し適用して、ELMの入力重みとバイアスを最適化し、ランダム初期化の代わりに知的な探索を実施する。
• タスク固有のサブポピュレーションと適応的学習メカニズムを用いて、多様性を維持し、早期収束を回避する。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドメタヒューリスティックアルゴリズムは、ELM入力行列の条件数を効果的に低減できるか？
• RQ2 MBASによる入力重みとバイアスの最適化は、標準ELMと比較して低い回帰誤差を達成するか？
• RQ3 MBASは、さまざまなデータセットにおいてELMの汎化性能をどの程度向上させるか？
• RQ4 MBASのマルチタスク設計は、単一タスクバージョンと比較して、収束速度と解の品質をどの程度向上させるか？
• RQ5 提案手法は、データの複雑さが異なる多様な回帰および分類タスクにおいて、堅牢性を示すか？

主な発見

• 提案されたMBASベースのELM手法は、入力行列の条件数を顕著に低減し、数値的安定性を向上させた。
• テストされたすべてのデータセットにおいて、標準ELMおよび他のヒューリスティックベース手法と比較して、回帰誤差が一貫して低かった。
• ベンチマークデータセットにおけるテスト誤差率の低さから、優れた汎化性能が裏付けられた。
• 従来の粒子群最適化や蜂コロニーアルゴリズムと比較して、MBASはより速く収束し、より良いポピュレーションの多様性を維持した。
• マルチタスク設計により、探索と活用のバランスが向上し、より堅牢な最適化結果が得られた。
• 実験的結果から、条件数と回帰誤差の共同最小化が、より信頼性が高く正確なELMモデルの構築に寄与することが確認された。