[論文レビュー] Rough extreme learning machine: a new classification method based on uncertainty measure

Lin Feng, Shuliang Xu+2 more|arXiv (Cornell University)|Oct 30, 2017

Machine Learning and ELM参考文献 41被引用数 3

ひとこと要約

本稿では、粗大集合理論と極端学習機械（ELM）を統合することで、精度を向上させ、高次元データを処理できる新しい分類手法である粗大極端学習機械（RELM）を提案する。RELMは、粗大集合を用いてデータを上界近似集合と下界近似集合に分割し、それぞれの集合に対して別個のニューロンを訓練する。また、冗長な特徴を除去するための特徴量削減を適用することで、ベースラインのELMおよび関連モデルと比較して優れた精度と安定性を達成しながら、高速な学習速度を維持する。

ABSTRACT

Extreme learning machine (ELM) is a new single hidden layer feedback neural network. The weights of the input layer and the biases of neurons in hidden layer are randomly generated, the weights of the output layer can be analytically determined. ELM has been achieved good results for a large number of classification tasks. In this paper, a new extreme learning machine called rough extreme learning machine (RELM) was proposed. RELM uses rough set to divide data into upper approximation set and lower approximation set, and the two approximation sets are utilized to train upper approximation neurons and lower approximation neurons. In addition, an attribute reduction is executed in this algorithm to remove redundant attributes. The experimental results showed, comparing with the comparison algorithms, RELM can get a better accuracy and repeatability in most cases, RELM can not only maintain the advantages of fast speed, but also effectively cope with the classification task for high-dimensional data.

研究の動機と目的

• ノイズが多いおよび高次元のデータを処理する伝統的なELMの限界を克服するため、不確実性のモデル化を統合すること。
• データの近似と特徴量削減に粗大集合理論を活用することで、分類精度と一般化性能を向上させること。
• 冗長または関係のない特徴に対して耐性を高めつつ、ELMの高速学習速度を維持すること。
• 多様なデータセットにおけるRELMの性能を評価し、既存のELM変種およびベースライン手法と比較すること。

提案手法

• RELMは、意思決定ルールに基づいて、学習データを上界近似集合と下界近似集合に分割する粗大集合理論を用いる。
• それぞれの近似集合に対して学習される別個の隠れ層ニューロン（上界近似ニューロンおよび下界近似ニューロン）が存在する。
• 出力重みはモア・ペンローズの一般化逆行列を用いて解析的に決定され、ELMの高速学習特性が保持される。
• 冗長な特徴を削除することで、モデルの効率性を向上させ、過学習を低減するため、特徴量削減が適用される。
• 最終的な分類意思決定は、上界近似ニューロンと下界近似ニューロンの出力を統合することで行われる。
• 性能評価のため、標準ELMおよびURELM（不確実性に基づくRELM）と比較が行われる。

Fig. 1: Rough set diagrammatic sketch

実験結果

リサーチクエスチョン

• RQ1 ELMに粗大集合理論を統合することで、高次元およびノイズが多いデータセットにおける分類精度と耐性が向上するか？
• RQ2 RELMは、標準ELMおよび他のELM変種と比較して、精度と安定性の面でどのように性能を発揮するか？
• RQ3 RELMにおける特徴量削減は、分類性能を劣化させることなく、次元削減をどの程度達成できるか？
• RQ4 RELMの時間計算量は、従来のELMおよびRS+BPと比較して、データ次元の増加に対してどの程度感受しやすいか？

主な発見

• RELMは14のベンチマークデータセット全体で、URELMおよび標準ELMと比較して高い平均精度を達成した。adultデータセットでは平均精度0.7563 ± 0.0233、hepatitisデータセットでは0.7885 ± 0.0395を記録した。
• STAGGERデータセットでは、RELMは完璧な精度（1.0000 ± 0.0000）を達成し、URELM（0.9886 ± 0.0302）を上回った。
• 特徴量削減により特徴量次元が顕著に削減された。例えば、Horseデータセットでは26から3に（88.46％の削減）、Germanyデータセットでは24から7に（70.83％の削減）となった。
• RELMの時間オーバーヘッドはデータ次元の増加に伴い上昇したが、RS+BPと比較して著しく低く保たれ、スケーラビリティが高く、次元に敏感でないことが示された。
• Yeastおよびpimaデータセットでは、RELMは安定した性能（それぞれ0.6623 ± 0.1245および0.5659 ± 0.0974）を維持したが、URELMは低い精度と高い分散を示した。
• 高い性能を発揮したが、一部のデータセット（例：Horseでは0.1625）では精度の分散が高かったため、特定の条件下で不安定性を示す可能性があることが判明した。

Fig. 2: The structure of RELM