[論文レビュー] Reducing the Computational Complexity of Pseudoinverse for the Incremental Broad Learning System on Added Inputs

Hufei Zhu, Liu, Zhulin+2 more|arXiv (Cornell University)|Oct 17, 2019

Machine Learning and ELM参考文献 7被引用数 4

ひとこと要約

本稿では、追加入力に対するインクリメンタルブラッドラーニングシステム（BLS）における疑似逆行列計算の計算複雑度を低減する効率的な実装を提案する。行列逆行列恒等式を活用することで、$ q > k $ の場合に $ q \times q $ 行列の逆行列計算を $ k \times k $ の逆行列計算に置き換える。MNISTでは1.35–1.57倍、NORBでは1.10–1.35倍の高速化を達成し、テスト精度は同一である。

ABSTRACT

In this brief, we improve the Broad Learning System (BLS) [7] by reducing the computational complexity of the incremental learning for added inputs. We utilize the inverse of a sum of matrices in [8] to improve a step in the pseudoinverse of a row-partitioned matrix. Accordingly we propose two fast algorithms for the cases of q > k and q < k, respectively, where q and k denote the number of additional training samples and the total number of nodes, respectively. Specifically, when q > k, the proposed algorithm computes only a k * k matrix inverse, instead of a q * q matrix inverse in the existing algorithm. Accordingly it can reduce the complexity dramatically. Our simulations, which follow those for Table V in [7], show that the proposed algorithm and the existing algorithm achieve the same testing accuracy, while the speedups in BLS training time of the proposed algorithm over the existing algorithm are 1.24 - 1.30.

研究の動機と目的

• 新しい入力サンプルを追加する際のインクリメンタルBLSにおける疑似逆行列計算の高コストを軽減すること。
• BLS更新プロセスにおける行列逆行列計算および関連乗算の時間計算量を低減すること。
• 大規模およびリアルタイム応用において、著しく高速化されたトレーニングを実現しながらも、同じテスト精度を維持すること。
• インクリメンタル学習における $ q > k $ および $ q \times k $ の両ケースに適用可能な統一的で効率的な実装を開発すること。
• エッジコンピューティングなどのリソース制約環境におけるBLSの実用的導入を可能にするために、トレーニング効率を向上させること。

提案手法

• 分割行列の構造に基づき、$ q > k $ および $ q \times k $ の両ケースに適した2種類の効率的疑似逆行列計算の形式を提案する。
• $ q > k $ の場合に、行列逆行列の補題（ウッドベリー恒等式）を用いて、元の $ q \times q $ 行列の逆行列を $ k \times k $ の逆行列に変換し、計算コストを著しく低減する。
• 元の疑似逆行列計算ステップ（15b）を置き換える新しい式（24bおよび24c）を導出することで、高速な行列乗算を可能にする。
• $ q > k $ の場合、行列逆行列計算の浮動小数点演算回数を $ \frac{1}{2}(q/k)^3 $ 倍に削減し、2つの行列乗算処理の高速化係数をそれぞれ $ ql/(2k^2) $ および $ q/k $ に向上させる。
• $ q \times k $ の場合、1つの行列乗算処理を $ l/k $ 倍に高速化し、この領域における計算負荷を低減する。
• 新しい式をインクリメンタルBLSフレームワークに統合し、出力重み計算におけるリッジ回帰近似を保持する。

実験結果

リサーチクエスチョン

• RQ1 追加入力サンプルを追加する際のインクリメンタルBLSにおける疑似逆行列計算の計算複雑度を低減できるか？
• RQ2 行列恒等式を用いて $ q \times q $ 行列の逆行列計算を $ k \times k $ に置き換えることで、理論的にどの程度の高速化が達成できるか？
• RQ3 提案手法は、元のBLSと比較して一般化性能およびテスト精度にどのような影響を与えるか？
• RQ4 異なるデータセットおよび入力スケーリング領域（$ q > k $ 対 $ q \times k $）における、合計トレーニング時間の実用的高速化比はどの程度か？
• RQ5 低遅延が重要なリアルタイムまたはエッジコンピューティング応用において、提案手法はスケーラブルで適しているか？

主な発見

• 提案手法は、すべての実験で元のBLSと同一のテスト精度を達成しており、効率性の向上が性能に悪影響を及えないことを確認した。
• MNISTデータセットでは、$ q > k $ 時に合計トレーニング時間で1.35–1.57倍の高速化が達成され、$ q \times k $ 時には1.09–1.13倍の高速化が得られた。
• NORBデータセットでは、$ q > k $ 時に1.10–1.35倍の高速化が得られ、$ q \times k $ 時には1.07–1.09倍の高速化が得られ、一貫した性能向上が確認された。
• 行列逆行列計算の理論的高速化係数は $ \frac{1}{2}(q/k)^3 $ であり、数値シミュレーションで実証された。
• この手法は、$ q > k $ の場合に、行列逆行列計算および2つの行列乗算処理の浮動小数点演算回数を削減し、著しく効率性を向上させた。
• 特に $ q $ が大きい状況において、計算コストの削減が顕著に現れ、大規模データおよびリアルタイム応用に適している。