[論文レビュー] Dropout as a Low-Rank Regularizer for Matrix Factorization

Jacopo Cavazza, Pietro Morerio+4 more|arXiv (Cornell University)|Oct 13, 2017

Sparse and Compressive Sensing Techniques参考文献 6被引用数 20

ひとこと要約

本稿は、行列分解におけるドロップアウトを正則化子として理論的に分析し、列ノルムの二乗和に基づく決定論的正則化に同等であることを示している。これにより、ドロップアウトは低ランク解を誘導する。さらに、適応的ドロップアウト率を用いることで、ドロップアウトは核ノルム正則化を暗黙的に実行し、凸的低ランク近似問題のグローバル最適化を可能にする。

ABSTRACT

Regularization for matrix factorization (MF) and approximation problems has been carried out in many different ways. Due to its popularity in deep learning, dropout has been applied also for this class of problems. Despite its solid empirical performance, the theoretical properties of dropout as a regularizer remain quite elusive for this class of problems. In this paper, we present a theoretical analysis of dropout for MF, where Bernoulli random variables are used to drop columns of the factors. We demonstrate the equivalence between dropout and a fully deterministic model for MF in which the factors are regularized by the sum of the product of squared Euclidean norms of the columns. Additionally, we inspect the case of a variable sized factorization and we prove that dropout achieves the global minimum of a convex approximation problem with (squared) nuclear norm regularization. As a result, we conclude that dropout can be used as a low-rank regularizer with data dependent singular-value thresholding.

研究の動機と目的

• ドロップアウトの行列分解における正則化効果を理論的に特徴づけること。これは経験的に有効であるが、理論的解釈が不十分である。
• 非凸的行列分解と凸的低ランク近似のギャップを埋めるために、ドロップアウトが凸的下界を誘導することを示すこと。
• 適応的レートを用いたドロップアウトが、凸的核ノルム正則化問題のグローバル最小値に達できることを示すこと。
• ドロップアウトを、行列分解におけるスペクトルスパarsityと低ランク構造を促進するものとして、新たな解釈を与えること。
• シミュレートデータおよび実データ（MNISTを含む）を用いた実験を通じて理論的発見を検証すること。

提案手法

• 本稿は、因子行列 U および V の列を確率的にドロップするベルヌーイ確率変数の期待値として、行列分解におけるドロップアウトを定式化する。
• 因子行列 U および V の列のユークリッドノルムの二乗の積の和を正則化項とする、同等の決定論的最適化問題を導出する。
• 変動サイズの因子分解に対して、要因分解次元 d およびハイパーパramータ p に依存する適応的ドロップアウト率 θ(d) を導入し、過学習を防ぐ。
• ドロップアウト正則化目的関数の凸的下界が、二乗核ノルム正則化と同等であることを証明し、ドロップアウトと既知の低ランク近似手法との関連を確立する。
• ドロップアウト正則化行列分解の最適解が、凸的核ノルム正則化問題のグローバル最適解と一致することを確立する。
• MNISTを用いた実験を通じて理論を検証し、ドロップアウトMFと凸的下界からの再構成を比較。平均再構成誤差は約 10⁻²、解の間の平均二乗誤差は約 10⁻³ を示した。

実験結果

リサーチクエスチョン

• RQ1 ドロップアウトが行列分解をどのように正則化する理論的メカニズムは何か？
• RQ2 ドロップアウトは低ランク行列近似における核ノルム正則化とどのように関係するか？
• RQ3 適応的レートを用いたドロップアウトは、凸的低ランク近似問題のグローバル最適解に到達できるか？
• RQ4 ドロップアウトは暗黙的にスペクトルスパarsityを強制し、行列分解における低ランク解を促進するか？
• RQ5 ドロップアウトと凸的正則化の間の同等性は、実世界のデータにおいて実証的に検証可能か？

主な発見

• 行列分解におけるドロップアウトは、因子行列の列の二乗ノルムの積の和をペナルティとする完全に決定論的な正則化と数学的に同等である。
• 固定された要因分解サイズ d に対して、ドロップアウト正則化目的関数は点ごとの同等性を示し、同一の最適解を保証する。
• 要因分解サイズ d が変動可能である場合、固定ドロップアウト率 θ は過大な要因分解を促進するが、d およびハイパーパramータ p に依存する適応的 θ(d) を導入することでこれを解決できる。
• ドロップアウト正則化目的関数の凸的下界は、二乗核ノルム正則化と同等であり、ドロップアウトによって凸問題のグローバル最適解に到達可能である。
• ドロップアウト正則化行列分解の最適解は、凸的核ノルム正則化問題のグローバル最適解と一致し、データ依存の特異値しきい値を用いて最適なランク d̄ を学習する。
• MNISTを用いた実験による評価では、ドロップアウトMFと凸的下界からの再構成が視覚的および定量的に類似しており、平均再構成誤差は約 10⁻²、両解の間の平均二乗誤差は約 10⁻³ を示した。