[論文レビュー] Analytic Network Learning

Kar-Ann Toh|arXiv (Cornell University)|Nov 20, 2018

Neural Networks and Applications参考文献 34被引用数 8

ひとこと要約

本稿では、ムーア・ペンローズ逆行列の射影に基づく解析的勾配フリー学習手法を提案する。この手法により、誤差逆伝播法を用いずに層ごとの重み計算が可能となり、ムーア・ペンローズ逆行列の最小二乗近似特性を活用することで、小規模から中規模のデータセットにおいて、SGDと比較して最大3470万倍の高速化を達成しながら、同等の汎化性能を維持する。

ABSTRACT

Based on the property that solving the system of linear matrix equations via the column space and the row space projections boils down to an approximation in the least squares error sense, a formulation for learning the weight matrices of the multilayer network can be derived. By exploiting into the vast number of feasible solutions of these interdependent weight matrices, the learning can be performed analytically layer by layer without needing of gradient computation after an initialization. Possible initialization schemes include utilizing the data matrix as initial weights and random initialization. The study is followed by an investigation into the representation capability and the output variance of the learning scheme. An extensive experimentation on synthetic and real-world data sets validates its numerical feasibility.

研究の動機と目的

• 線形代数の原則に基づき、勾配フリーで解析的な学習フレームワークを、多層ニューラルネットワークに開発すること。
• このような解析的学習方式の表現力および汎化能力を調査すること。
• 実世界および合成データセット（小規模から中規模）における数値的妥当性と性能を検証すること。
• 重み初期化、スケーリング、スパarsityが汎化性能に与える影響を調査すること。
• 誤差逆伝播法に代わる透明で解析的に取り扱える代替手法を、深層ネットワークの学習に提供すること。

提案手法

• ムーア・ペンローズ逆行列を用いた列空間および行空間への射影により、ネットワーク学習を最小二乗近似問題として定式化する。
• 線形代数的構造を活用して、層間の重み行列同士の相互依存性を導出する。
• データ行列またはランダム行列を用いて内部重み行列を初期化することで、相互依存性を解消する。
• 勾配計算や反復最適化を一切行わず、層ごとに解析的に重み行列を計算する。
• ムーア・ペンローズ逆行列を用いて列空間および行空間への射影を実施し、最適な最小二乗解を保証する。
• 構造的初期化（例：データ行列を初期重みとして使用）を用いることで、膨大な解空間を活用し、汎化性能の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 勾配計算を一切行わず、多層ニューラルネットワークの学習を解析的に達成できるか？
• RQ2 ムーア・ペンローズ逆行列に基づく解析的解法は、勾配ベースの手法と比較して、精度および速度の面でどのように異なるか？
• RQ3 本フレームワークにおいて、重みスケーリングとスパarsityが汎化性能に与える影響は何か？
• RQ4 ネットワークの深さが、この解析的学習方式における表現力および汎化性能にどのように影響を与えるか？
• RQ5 相互に依存する重み行列の解空間は、賢明な初期化によって、汎化性能の向上に活用可能か？

主な発見

• 提案された解析的学習手法は、従来の勾配ベースの学習と比較して、最大3.47×10⁷倍の高速化を達成した。
• 42個の実世界データセットにおいて、解析的手法の予測精度は、標準的な勾配ベースの学習と同等であった。
• 5層ネットワークでは、2層および3層ネットワークと比較して、平均で2%以上の精度向上を達成した。
• 重みスケーリングは、2層および3層ネットワークの両方において、受容 field のスパarsityよりも、汎化性能により顕著な影響を与えた。
• 2層、3層、5層のネットワークアーキテクチャにおいて、最小限の安定性の問題でさえも、数値的妥当性を示した。
• データ行列を初期重みとして使用するか、ランダム初期化を行うことで、相互に依存する重み方程式の有効な分離が可能となり、解析的解法が実現した。