[論文レビュー] Constrained Extreme Learning Machines: A Study on Classification Cases

Wentao Zhu, Jun Miao+1 more|arXiv (Cornell University)|Jan 25, 2015

Machine Learning and ELM参考文献 54被引用数 16

ひとこと要約

本稿では、従来のELMが完全にランダムに選択するのとは異なり、サンプル分布から導出された制約付きベクトル空間から隠れニューロンを選択することにより、分類における汎化性能を向上させる新しい手法である制約付き極端学習機械（CELMs）を提案する。この手法は、標準ELM、SVM、および関連手法よりも高い精度を達成しながらも、ELMが特徴とする高速な学習速度を維持する。

ABSTRACT

Extreme learning machine (ELM) is an extremely fast learning method and has a powerful performance for pattern recognition tasks proven by enormous researches and engineers. However, its good generalization ability is built on large numbers of hidden neurons, which is not beneficial to real time response in the test process. In this paper, we proposed new ways, named "constrained extreme learning machines" (CELMs), to randomly select hidden neurons based on sample distribution. Compared to completely random selection of hidden nodes in ELM, the CELMs randomly select hidden nodes from the constrained vector space containing some basic combinations of original sample vectors. The experimental results show that the CELMs have better generalization ability than traditional ELM, SVM and some other related methods. Additionally, the CELMs have a similar fast learning speed as ELM.

研究の動機と目的

• 分類タスクにおける極端学習機械（ELM）の汎化性能と計算効率のトレードオフを解消すること。
• 汎化能力を損なわず、ELMに必要な隠れニューロンの数を削減すること。
• サンプル分布に基づく構造的制約を導入することで、ELMにおける隠れニューロンのランダム選択を改善すること。
• 分類精度を向上させつつ、ELMが特徴とする高速な学習速度を維持する手法を開発すること。
• 分類ベンチマークにおいて、提案手法をELM、SVM、および他の関連アルゴリズムと比較して検証すること。

提案手法

• CELMsは、元のトレーニングサンプルの基本的組み合わせを用いて構築された制約付きベクトル空間から隠れニューロンを選択する。
• 制約付きベクトル空間は、入力ベクトルの線形結合によって形成され、選択されたニューロンが元のデータ分布を代表するように保証される。
• 隠れニューロンの重みとバイアスはランダムに生成されるが、事前に定義されたこの空間内に制約されることで、表現品質が向上する。
• 出力重みは最小二乗解を用いて計算され、ELMが特徴とする高速学習特性が保持される。
• CELMsはELMの1層フィードフォワードネットワーク構造を維持するが、構造化された初期化によって特徴表現を強化する。
• 制約付き選択プロセスにより、冗長性が低減され、顕著なデータパターンを捉えるニューロンが優遇されることで、汎化性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 ELMにおける隠れニューロンの選択を制約することで、分類タスクにおける汎化性能が向上するか？
• RQ2 提案された制約付き選択手法は、精度を維持または向上させつつ、必要な隠れニューロンの数を削減するか？
• RQ3 CELMsの性能は、従来のELM、SVM、および他の関連手法と比較して、精度と速度の面でどのように異なるか？
• RQ4 制約付きベクトル空間の構造が、CELMsの学習性能にどの程度影響を与えるか？
• RQ5 CELMsは、ELMが特徴とする高速な学習速度を維持しながら、より優れた汎化性能を達成できるか？

主な発見

• CELMsは、複数の分類データセットにおいて、従来のELMよりも優れた汎化性能を達成する。
• 提案手法は、ベンチマークデータセットにおける分類精度の面で、SVMおよび他の関連手法を上回る。
• CELMsは、ELMが特徴とする高速な学習速度を維持しており、リアルタイム応用に適している。
• 隠れニューロンの制約付き選択により、特徴表現が向上し、大量のニューロンを必要としなくなる。
• 実験結果から、標準ELMと比較して、CELMsはより少ない隠れニューロンで高い精度を達成することが示された。
• 制約付きベクトル空間は、ニューロン初期化時に意味のあるデータの組み合わせに焦点を当てるため、モデル性能を顕著に向上させる。