[論文レビュー] Representation Learning and Recovery in the ReLU Model

Arya Mazumdar, Ankit Singh Rawat|arXiv (Cornell University)|Mar 12, 2018

Machine Learning and Algorithms参考文献 15被引用数 3

ひとこと要約

この論文は、ランダムなバイアスを伴う1層のReLUニューラルネットワークモデルにおける表現学習とロバストな信号回復を研究している。重み行列の列空間がO(d)のフロベニウスノルム誤差内で回復可能であることを証明し、ガウス設計のもとで一般化LASSOアルゴリズムがℓ₂回復誤差O(√((k+s)log d)/d)を達成することを示している。これは、スパースな外れ値と密度の高いノイズが存在する状況でも成り立つ。

ABSTRACT

Rectified linear units, or ReLUs, have become the preferred activation function for artificial neural networks. In this paper we consider two basic learning problems assuming that the underlying data follow a generative model based on a ReLU-network -- a neural network with ReLU activations. As a primarily theoretical study, we limit ourselves to a single-layer network. The first problem we study corresponds to dictionary-learning in the presence of nonlinearity (modeled by the ReLU functions). Given a set of observation vectors $\mathbf{y}^i \in \mathbb{R}^d, i =1, 2, \dots , n$, we aim to recover $d imes k$ matrix $A$ and the latent vectors $\{\mathbf{c}^i\} \subset \mathbb{R}^k$ under the model $\mathbf{y}^i = \mathrm{ReLU}(A\mathbf{c}^i +\mathbf{b})$, where $\mathbf{b}\in \mathbb{R}^d$ is a random bias. We show that it is possible to recover the column space of $A$ within an error of $O(d)$ (in Frobenius norm) under certain conditions on the probability distribution of $\mathbf{b}$. The second problem we consider is that of robust recovery of the signal in the presence of outliers, i.e., large but sparse noise. In this setting we are interested in recovering the latent vector $\mathbf{c}$ from its noisy nonlinear sketches of the form $\mathbf{v} = \mathrm{ReLU}(A\mathbf{c}) + \mathbf{e}+\mathbf{w}$, where $\mathbf{e} \in \mathbb{R}^d$ denotes the outliers with sparsity $s$ and $\mathbf{w} \in \mathbb{R}^d$ denote the dense but small noise. This line of work has recently been studied (Soltanolkotabi, 2017) without the presence of outliers. For this problem, we show that a generalized LASSO algorithm is able to recover the signal $\mathbf{c} \in \mathbb{R}^k$ within an $\ell_2$ error of $O(\sqrt{\frac{(k+s)\log d}{d}})$ when $A$ is a random Gaussian matrix.

研究の動機と目的

• ReLU非線形性が存在する状況における辞書学習の問題に対処すること。観測値はy^i = ReLU(A c^i + b)に従い、バイアスbはランダムである。
• 非線形スケッチがスパースな外れ値eと密度の高いノイズwによって汚染された状況で、潜在ベクトルcのロバストな回復を研究すること。すなわち、v = ReLU(A c) + e + wである。
• 1層のネットワークを用いた生成的ReLUモデルのもとで、表現回復と信号回復の両方について理論的保証を確立すること。
• 特にアソシエイティブメモリと非線形スケッチの文脈において、ReLUベースの生成的モデルの理論的理解を拡張すること。
• 非線形性（ReLU）、ランダムバイアス、ノイズの間の相互作用を、高次元漸近的設定において分析すること。

提案手法

• 観測値がランダムバイアスbを伴うReLU活性化付きの線形変換によって生成される生成的モデルを用いる。
• 潜在ベクトルcを、ノイズのある観測値v = ReLU(A c) + e + wから回復するために一般化LASSO定式化を適用する。外れ値eのスパarsityはsである。
• 推定誤差のバウンドに、双対証明法と制限された強い凸性を用いる。
• Aがi.i.d.ガウス行列であると仮定し、集中不等式を用いて誤差の確率的バウンドを導出する。
• 解の可能性領域を特徴付けるために制限集合Rを導入し、補題3を用いて二次形式‖A h + f‖²₂の下界を求める。
• 双対ノルムとノイズ項のバウンドを組み合わせることで、cの回復における最終的なℓ₂誤差バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 バイアスbがランダムであるとき、観測値y^i = ReLU(A c^i + b)から重み行列Aの列空間を回復できるか？
• RQ2 観測値がスパースな外れ値と密度の高いノイズによって汚染されている場合、潜在ベクトルcの根本的なロバスト回復限界は何か？
• RQ3 高次元設定において、ReLUによって導入される非線形性は回復性能にどのように影響するか？
• RQ4 一般化LASSOアプローチは、ReLUベースのスケッチにおいてスパースおよび密度の高いノイズが共存する状況でも一貫した回復を達成できるか？
• RQ5 バイアス分布と設計行列Aにどのような条件が課されれば、安定的かつ正確な表現学習と信号回復が保証されるか？

主な発見

• バイアス分布にやや緩い条件が課されれば、重み行列Aの列空間はO(d)のフロベニウスノルム誤差で回復可能である。
• ロバスト回復において、一般化LASSOアルゴリズムはAがランダムガウス行列であるとき、ℓ₂誤差バウンドO(√((k + s) log d)/d)を達成する。
• 誤差バウンドは、非線形性に起因するノイズに対して√(k log k / d)、スパース外れ値に対して√(s log d / d)に比例し、潜在次元とスパarsityの間のトレードオフを反映している。
• 測定数dがkとsに対して十分に大きい場合、高次元漸近的設定において回復誤差は安定する。
• 双対証明法がReLU活性化を伴う非線形モデルに適応可能であることが分析によって示され、非凸的スケッチに対する理論的保証が可能である。
• ノイズの無限大ノルムが∥w∥∞ ≤ δを満たし、Aがi.i.d.ガウス行列である場合、高確率で誤差バウンドが成立し、密度的だが有界なノイズに対してロバストであることが保証される。