[論文レビュー] Learning Two-layer Neural Networks with Symmetric Inputs

Rong Ge, Rohith Kuditipudi+2 more|arXiv (Cornell University)|Oct 16, 2018

Tensor decomposition and applications被引用数 7

ひとこと要約

本論文は、スペクトル的手法を用いて非凸最適化を回避することで、対称的入力を持つ2層ReLUニューラルネットワークのパラメータを、証明可能に学習する新規なモーメント法アルゴリズムを提示する。弱い非退化条件のもとで正確な回復を保証し、多項式的サンプル複雑性のもとで、複雑で構造的な入力分布に対してもロバストに学習可能である。

ABSTRACT

We give a new algorithm for learning a two-layer neural network under a general class of input distributions. Assuming there is a ground-truth two-layer network $$ y = A σ(Wx) + ξ, $$ where $A,W$ are weight matrices, $ξ$ represents noise, and the number of neurons in the hidden layer is no larger than the input or output, our algorithm is guaranteed to recover the parameters $A,W$ of the ground-truth network. The only requirement on the input $x$ is that it is symmetric, which still allows highly complicated and structured input. Our algorithm is based on the method-of-moments framework and extends several results in tensor decompositions. We use spectral algorithms to avoid the complicated non-convex optimization in learning neural networks. Experiments show that our algorithm can robustly learn the ground-truth neural network with a small number of samples for many symmetric input distributions.

研究の動機と目的

• 一般の入力分布の下で、標準的な最適化が非凸性のため失敗する状況における、2層ニューラルネットワークの学習という理論的課題に取り組む。
• 従来の研究がガウス分布入力や特定のデータ構造に強く依存するという限界を克服する。
• 入力が対称である場合に、証明可能な効率性を備えたパラメータ回復アルゴリズムを開発する。この条件は、複雑で現実世界のデータ分布を許容する。
• 多項式時間と多項式サンプル複雑性を維持しつつ、ノイズや有限サンプル推定誤差に対してもロバストであることを保証する。
• テンソル分解技術をニューラルネットワークの文脈に拡張し、対称性のもとでネットワーク重みの正確な回復を可能にする。

提案手法

• 入力 $x$ と出力 $y$ 間の低次の積率（最大4次まで）を推定するモーメント法フレームワークを用いる。
• 入力分布 $\mathcal{D}$ の対称性を活用して、$W$ と $A$ の構造的情報をエンコードする高次積率テンソルを構築する。
• スペクトル分解およびテンソル分解技術を用いて、推定された積率から重み行列 $W$ と $A$ を抽出する。
• 積率テンソルの同時対角化を用いて、ロバスト固有値分解により隠れ層重み $W$ と出力重み $A$ を回復する。
• 摂動バウンドと反濃度不等式を組み込んで、サンプリングノイズと推定誤差の下でも安定性を保証する。
• 固有ベクトル回復における回転の不確かさを解消するため、回復された部分空間を直交変換で整合化する。

実験結果

リサーチクエスチョン

• RQ1 一般の入力分布クラスの下で、証明可能な保証のもとで2層ReLUニューラルネットワークを学習できるか？
• RQ2 入力分布の対称性が、強い分布的仮定を必要とせずに、非反復的かつ効率的なネットワークパラメータ回復を可能にするか？
• RQ3 高次積率に基づくスペクトル手法が、ノイズの存在下でも $W$ と $A$ の正確な回復を達成できるか？
• RQ4 対称的入力のもとで、真のネットワークのロバスト推定に必要なサンプル複雑性はどの程度か？
• RQ5 テンソル分解技術をどのようにニューラルネットワークの文脈に適応させ、非凸最適化を回避できるか？

主な発見

• 入力分布が対称的かつ非退化である限り、4次積率情報のみを用いて、真のネットワークパラメータ $A$ と $W$ を正確に回復できる。
• 多項式的サンプル数のもとで、アルゴリズムは $\|\hat{A}\sigma(\hat{W}x) - A\sigma(Wx)\|^{2} \leq \epsilon$ を満たすネットワーク $\hat{A}, \hat{W}$ を出力する。ここで $x$ は任意の入力であり、$\epsilon$ は任意に小さくできる。
• アルゴリズムは $\mbox{poly}(d)$ 時間で実行可能であり、ノイズとサンプリング誤差に対してもロバストである。必要なサンプル数は $\mbox{poly}(d, 1/\epsilon)$ に制限される。
• 理論的保証は、ランダム行列の反濃度および摂動バウンドに依存しており、ノイズ下でも安定な固有値分解を保証する。
• アルゴリズムはガウス分布入力に限定されず、対称性が保たれる限り、非常に構造的で複雑な分布に対しても適用可能である。
• 実験結果は、データ拡張を施した画像に類似したデータを含む多様な対称的入力分布において、少数のサンプルでもロバストな性能を示している。