[論文レビュー] Linear Algebra and Duality of Neural Networks

Galin Georgiev|arXiv (Cornell University)|Sep 12, 2018

Neural Networks and Applications参考文献 25被引用数 3

ひとこと要約

本稿は、観測可能量（例：画素値）と観測（例：訓練サンプル）の間の双対性を形式化することで、線形代数的枠組みを神経ネットワークに導入する。基底、射影、計量、変分法を用いる。バックプロパゲーションと制限ボルツマンマシンの重み更新則を変分原理から導出し、訓練ダイナミクスと次元削減のための物理学的インスピレーションを受けて数学的に厳密な基盤を確立する。

ABSTRACT

Bases, mappings, projections and metrics, natural for Neural network training, are introduced. Graph-theoretical interpretation is offered. Non-Gaussianity naturally emerges, even in relatively simple datasets. Training statistics, hierarchies and energies are analyzed, from physics point of view. Duality between observables (for example, pixels) and observations is established. Relationship between exact and numerical solutions is studied. Physics and financial mathematics interpretations of a key problem are offered. Examples support all new concepts.

研究の動機と目的

• 線形代数を用いて、神経ネットワークにおける観測可能量（例：画素強度）と観測（例：訓練サンプル）の間の正式な双対性を確立すること。
• 再構成誤差を最小化する作用関数を用いた変分問題として、神経ネットワークの訓練をモデル化すること。
• ラグランジュ作用の偏微分を用いた第一原理から、標準的なバックプロパゲーションとRBMsの重み更新則を導出すること。
• 物理およびファイナンス数学の視点から、訓練統計、非ガウス性、階層的構造を分析すること。
• SVDと双対アーキテクチャ（オートエンコーダおよびRBMsを含む）を用いた次元削減の正確な線形代数的解を提供すること。

提案手法

• 訓練データをP×N行列Xとして形式化し、観測可能量を列、観測を行として扱い、観測可能量空間と観測空間の双対空間を導入する。
• 訓練マッピングTとT′、共役観測可能量、射影PとP′、および観測可能量空間と観測空間の両方における計量を導入する。
• 作用関数Sに変分法を適用し、X、Y、W^(1)、W^(2)、およびラグランジュ乗数ZとẐに関する偏微分を用いて再構成誤差を最小化する。
• 作用関数の偏微分を0に設定することでバックプロパゲーションの更新則を導出し、ΔW^(2) = -δY^T ΔX および ΔW^(1) = -δX(0)^T Z を得る。
• 重みが固定されている場合、RBMsの更新則 ΔW^(1) ≈ -δ(ΔX^T Y + X(0)^T ΔY) を導出し、Gram行列G(m)を用いて ΔW^(1) ≈ -δΔG(m)W^(1) に簡略化する。
• ネットワーク層と訓練ダイナミクスのグラフ理論的解釈を導入し、平衡状態、ノイズ、フェルミオン化といった物理的概念と関連付ける。

実験結果

リサーチクエスチョン

• RQ1 線形代数的構造を用いて、神経ネットワークにおける観測可能量と観測を正式に双対化する方法は何か？
• RQ2 標準的なバックプロパゲーションの背後にある変分原理は何か？また、ラグランジュ作用からどのように導出されるか？
• RQ3 オートエンコーダおよびRBMsの導出された重み更新則は、SVDのような正確な線形代数的解とどのように関係するか？
• RQ4 単純なデータセットの訓練ダイナミクスから、非ガウス性がどのように自然に生じるか？
• RQ5 平衡状態、階層構造、統計力学の概念をどのように神経ネットワークの訓練理解に応用できるか？

主な発見

• 本稿は、変分原理から標準的なバックプロパゲーションの更新則を導出し、重み更新がラグランジュ作用関数の偏微分を0にする対応するものであることを示した。
• 重みが固定されている場合、導出された更新則はRBMsの学習則と一致し、ΔW^(1) ≈ -δΔG(m)W^(1) となる。ここでΔG(m)はGram行列の変化量である。
• 再構成誤差ベクトル -ΔX(m) = Ẑ(m) は負のラグランジュ乗数として特定され、逆伝搬誤差Z(m)はZ(m) = Ẑ(m)W^(2)^T により計算される。
• 観測可能量と観測の間の双対性が確立され、共役および逆写像を用いることで、入力空間と出力空間の対称的取り扱いが可能になる。
• 訓練マッピングと射影の構造のおかげで、単純なデータセットでさえも、非ガウス性が自然に訓練分布に現れる。
• 次元削減の正確な線形代数的解が特異値分解（SVD）と同等であることが示され、双対オートエンコーダアーキテクチャがこの構造を保持している。