[論文レビュー] Loss Landscapes of Regularized Linear Autoencoders

Daniel Kunin, Jonathan M. Bloom+2 more|arXiv (Cornell University)|Jan 23, 2019

Model Reduction and Neural Networks参考文献 32被引用数 22

ひとこと要約

本稿は、$L_2$-正則化付き線形自己符号化器（LAE）が、デコーダーの左特異ベクトルとして主成分を学習することを証明しており、非正則化LAEにおける対称性を破り、主成分方向の回復を可能にする。正則化により、対称性群は$\mathrm{GL}_k(\mathbb{R})$から$\mathrm{O}_k(\mathbb{R})$に減少し、すべての臨界点でエンコーダーとデコーダーが互いに転置関係にあり、最小値が確率的PCAにおけるMAP推定と結びつく。

ABSTRACT

Autoencoders are a deep learning model for representation learning. When trained to minimize the distance between the data and its reconstruction, linear autoencoders (LAEs) learn the subspace spanned by the top principal directions but cannot learn the principal directions themselves. In this paper, we prove that $L_2$-regularized LAEs are symmetric at all critical points and learn the principal directions as the left singular vectors of the decoder. We smoothly parameterize the critical manifold and relate the minima to the MAP estimate of probabilistic PCA. We illustrate these results empirically and consider implications for PCA algorithms, computational neuroscience, and the algebraic topology of learning.

研究の動機と目的

• 非正則化バージョンにおいても対称性が存在するにもかかわらず、$L_2$-正則化付きLAEがなぜ主成分方向を回復できるかを解明すること。
• 線形代数とトポロジーを用いて、正則化付きLAEの臨界点と損失関数の形状を特徴づけること。
• 正則化損失の最小値と確率的PCAにおけるMAP推定との間の関係を確立すること。
• PCAアルゴリズム、計算神経科学、深層学習の代数的トポロジーへの影響を検討すること。

提案手法

• スカラーおよび行列形式のLAE（正則化あり・なし）を分析し、対称性の破れを明らかにする。
• 特異値分解（SVD）を用いて、臨界点におけるデコーダーの左特異ベクトルが主成分方向に対応することを示す。
• $\mathcal{L}_\sigma$のすべての臨界点で、エンコーダーとデコーダーが互いに転置関係にあり、正則化損失の最小値がMAP推定と一致することを証明する。
• 損失関数を$\mathrm{Gr}_k(\mathbb{R}^m)$上の関数としてモデル化し、それがシューベルト細分類を持つ完全なモース関数であることを示す。
• モース理論とモースホモロジーを用いて、勾配フローが可縮なチェーン複体内で臨界点を幾何学的に相殺することを示す。
• ガウス事前分布下で、正則化付きLAEの最小値がMAP推定に一致することを示し、確率的PCAと関連づける。

実験結果

リサーチクエスチョン

• RQ1 なぜ$L_2$-正則化が非正則化LAEの$\mathrm{GL}_k(\mathbb{R})$対称性を破り、主成分方向の回復を可能にするのか？
• RQ2 正則化付きLAEの臨界点と損失関数の形状に、幾何学的・代数的構造はどのように存在するか？
• RQ3 正則化付きLAEにおいて、臨界点でのエンコーダーとデコーダーの関係は何か？
• RQ4 正則化付きLAE損失の最小値が、確率的PCAにおけるMAP推定とどの程度一致するか？
• RQ5 正則化付きLAEの損失関数の形状は、モース理論および実グラスマン多様体のトポロジーとどのように関係するか？

主な発見

• 正則化付きLAE損失$\mathcal{L}_\sigma$は、直交群$\mathrm{O}_k(\mathbb{R})$に関して対称であり、SVD構造を保存する。
• $\mathcal{L}_\sigma$のすべての臨界点で、エンコーダーとデコーダーは互いに転置関係にある。
• データの主成分方向は、デコーダー行列の左特異ベクトルとして学習される。
• $\mathcal{L}_\sigma$のグローバル最小値は、確率的PCAにおけるMAP推定に正確に一致する。
• $\mathrm{Gr}_k(\mathbb{R}^m)$上の損失関数は完全なモース関数であり、臨界点はシューベルト細分類によってインデックス化される。
• 損失関数のモースホモロジーは、実グラスマン多様体の古典的CW構造と同じチェーン複体を実現しており、トポロジカル整合性が確認される。