[論文レビュー] Fast Computation of Moore-Penrose Inverse Matrices

Pierre Courrieu|ArXiv.org|Apr 30, 2008

Neural Networks and Applications参考文献 9被引用数 25

ひとこと要約

この論文では、フルランクコレスキー分解を用いた高速なモーア・ペンローズ逆行列の計算アルゴリズムを提示している。大規模なシステムにおいて、計算時間を顕著に短縮する。従来の手法と同等の擬似逆行列を生成するが、特にランク不足と最小ノルム解が正則化に不可欠なニューラルネットワークの重み学習において、優れた効率性を示す。

ABSTRACT

Many neural learning algorithms require to solve large least square systems in order to obtain synaptic weights. Moore-Penrose inverse matrices allow for solving such systems, even with rank deficiency, and they provide minimum-norm vectors of synaptic weights, which contribute to the regularization of the input-output mapping. It is thus of interest to develop fast and accurate algorithms for computing Moore-Penrose inverse matrices. In this paper, an algorithm based on a full rank Cholesky factorization is proposed. The resulting pseudoinverse matrices are similar to those provided by other algorithms. However the computation time is substantially shorter, particularly for large systems.

研究の動機と目的

• ニューラルネットワーク応用におけるモーオ・ペンローズ逆行列の計算を、より高速かつ正確に行う手法を開発すること。
• ランク不足の可能性を伴う大規模な最小二乗問題を解く際の計算負荷を軽減すること。
• 入出力マッピングの正則化に不可欠な最小ノルムのシナプス重みベクトルを提供すること。
• 特に大規模問題において、従来の擬似逆行列計算技術を上回る効率性を実現すること。

提案手法

• アルゴリズムは、モーオ・ペンローズ逆行列を効率的に計算するためにフルランクコレスキー分解を採用している。
• 正規方程式の構造を活用することで、行列の完全な逆行列計算を回避している。
• ランクを明らかにする分解を用いることで、数値的安定性を確保している。
• 得られた擬似逆行列行列を用いて、重みを W = G⁺F として計算している（元の論文では誤って W = G⁺W と記載されていたが、これは誤植である）。
• ランク不足に強い正則化と耐性を備えたニューラル学習アルゴリズムへの適用を想定して設計されている。

実験結果

リサーチクエスチョン

• RQ1 大規模システムにおいて、正確性を損なわずにモーオ・ペンローズ逆行列をより効率的に計算できるか？
• RQ2 提案されたコレスキーに基づく手法は、既存の擬似逆行列計算技術と比較してどの程度高速か？
• RQ3 このアルゴリズムは、ニューラルネットワークにおける正則化に不可欠な最小ノルム性を維持できるか？
• RQ4 ランク不足が、提案手法の性能にどのような影響を与えるか？

主な発見

• 提案手法は、従来の手法と比較して、特に大規模システムにおいて顕著に高速な計算時間を達成している。
• 計算されたモーオ・ペンローズ逆行列は、他の確立されたアルゴリズムが生成するものと数値的に同等である。
• ランク不足行列に対しても効果的に対処でき、安定的かつ意味のある解を保証している。
• 誤植 W = G⁺F が W = G⁺W と誤って記載されていたのを是正したことで、重み計算における擬似逆行列の正しい適用が確認された。