[论文解读] Is Extreme Learning Machine Feasible? A Theoretical Assessment (Part II)

Shaobo Lin, Xia Liu+2 more|arXiv (Cornell University)|Jan 24, 2014

Machine Learning and ELM被引用 4

一句话总结

本文對極限學習機（ELM）的可行性進行理論評估，表明儘管 ELM 透過隨機化隱層權重降低了計算成本，但仍存在兩個關鍵缺陷：(1) 由於隨機性導致的近似與學習中的固有不確定性；(2) 使用高斯型激活函數時泛化能力下降。研究證明，使用高斯核的 ELM 表現劣於標準 FNN，但透過係數正則化與多輪訓練可予以修正，從而使預期學習速率恢復至最佳水平。

ABSTRACT

An extreme learning machine (ELM) can be regarded as a two stage feed-forward neural network (FNN) learning system which randomly assigns the connections with and within hidden neurons in the first stage and tunes the connections with output neurons in the second stage. Therefore, ELM training is essentially a linear learning problem, which significantly reduces the computational burden. Numerous applications show that such a computation burden reduction does not degrade the generalization capability. It has, however, been open that whether this is true in theory. The aim of our work is to study the theoretical feasibility of ELM by analyzing the pros and cons of ELM. In the previous part on this topic, we pointed out that via appropriate selection of the activation function, ELM does not degrade the generalization capability in the expectation sense. In this paper, we launch the study in a different direction and show that the randomness of ELM also leads to certain negative consequences. On one hand, we find that the randomness causes an additional uncertainty problem of ELM, both in approximation and learning. On the other hand, we theoretically justify that there also exists an activation function such that the corresponding ELM degrades the generalization capability. In particular, we prove that the generalization capability of ELM with Gaussian kernel is essentially worse than that of FNN with Gaussian kernel. To facilitate the use of ELM, we also provide a remedy to such a degradation. We find that the well-developed coefficient regularization technique can essentially improve the generalization capability. The obtained results reveal the essential characteristic of ELM and give theoretical guidance concerning how to use ELM.

研究动机与目标

• 為了理論評估極限學習機（ELM）的可行性，超越其經驗成功。
• 為了研究 ELM 隱層權重隨機分配所帶來的負面後果。
• 為了確定在某些激活函數下，ELM 是否會降低泛化能力。
• 為了提出解決 ELM 中不確定性與泛化能力下降問題的方案。
• 為了建立選擇 ELM 中激活函數與正則化策略的理論基礎。

提出的方法

• 在統計學習理論框架內分析 ELM，專注於泛化誤差與近似誤差。
• 使用集中不等式與正則化技術來界定期望泛化誤差的上界。
• 應用 $l^2$ 係數正則化以穩定輸出權重學習，並改善泛化能力。
• 採用多輪訓練以緩解由隨機權重初始化引起的不確定性。
• 利用樣本相關的假說空間與基於核的學習模型推導理論誤差界。
• 透過比較使用高斯核的 ELM 與標準 FNN，顯示 ELM 在無正則化情況下收斂速率次優。

实验结果

研究问题

• RQ1 ELM 隱層權重的隨機性是否在近似與學習中均引入不確定性問題？
• RQ2 即使在權重隨機分配的情況下，ELM 是否可能因某些激活函數而降低泛化能力？
• RQ3 使用高斯型激活函數的 ELM，其泛化性能是否劣於標準 FNN？
• RQ4 $l^2$ 正則化是否能恢復 ELM 的最佳學習速率，特別是在高斯核情況下？
• RQ5 激活函數的哪些條件會決定 ELM 是降低還是保持其泛化能力？

主要发现

• 理論比較顯示，使用高斯型激活函數的 ELM 比標準 FNN 的泛化能力更差，其學習速率亦較低。
• 在相同條件下，使用高斯核的 ELM 的泛化誤差本質上劣於 FNN。
• 多輪訓練能有效緩解 ELM 中的不確定性問題，降低單次運行失敗的風險。
• 對輸出權重應用 $l^2$ 係數正則化，可使 ELM 在期望下達到近乎最佳的學習速率，與 FNN 性能相當。
• 正則化 ELM 的理論誤差界規模為 $O(m^{-\frac{2r}{2r+d} + \varepsilon})$，當正則化參數調校得當時，可逼近 FNN 的最佳收斂速率。
• 基於激活函數對 ELM 泛化能力影響的分類通用準則仍為開放問題，儘管本文為未來研究奠定了基礎。