[論文レビュー] Learning Parities with Neural Networks

Amit Daniely, Eran Malach|arXiv (Cornell University)|Feb 18, 2020

Domain Adaptation and Few-Shot Learning参考文献 26被引用数 11

ひとこと要約

この論文は、勾配降下法で訓練された2層ニューラルネットワークが、特定のデータ分布下でスパースパリティ（非線形関数）を効率的に学習できることを示している。線形モデルでは実際に困難であると証明された非線形関数である。主な貢献は指数的分離：ニューラルネットワークは低誤差を達成するが、線形手法は指数的に大きな表現、または指数的に大きなノルムを必要とする。

ABSTRACT

In recent years we see a rapidly growing line of research which shows learnability of various models via common neural network algorithms. Yet, besides a very few outliers, these results show learnability of models that can be learned using linear methods. Namely, such results show that learning neural-networks with gradient-descent is competitive with learning a linear classifier on top of a data-independent representation of the examples. This leaves much to be desired, as neural networks are far more successful than linear methods. Furthermore, on the more conceptual level, linear models don't seem to capture the "deepness" of deep networks. In this paper we make a step towards showing leanability of models that are inherently non-linear. We show that under certain distributions, sparse parities are learnable via gradient decent on depth-two network. On the other hand, under the same distributions, these parities cannot be learned efficiently by linear methods.

研究の動機と目的

• 勾配降下法で訓練されたニューラルネットワークが、線形モデルでは到達できない本質的な非線形関数（例：スパースパリティ）を学習できることを示すこと。
• ニューラルネットワークと線形モデル（カーネル法やランダム特徴量を含む）の間の理論的分離を確立すること。
• 入力データの特定の分布が、ニューラルネットワークによるパリティの効率的学習を可能にすると同時に、固定表現における線形分類器ではその学習が非効率になることを示すこと。
• ニューラルネットワークの一般化が、ランダム特徴量やカーネル近似によって線形モデルに還元可能であるという一般的な見解に挑戦すること。
• 線形化やカーネルベースの近似を超えた深層学習の表現力の理解に向けた新しい理論的道筋を開くこと。

提案手法

• 入力のkビット部分集合におけるパリティをラベルとする、{±1/√n}^n × {±1} 上の分布族 𝒟_A を定義する。
• トレーニング可能な重みとバイアスを有する2層ReLUネットワークを用い、ヒンジ損失関数に基づく確率的勾配降下法で訓練する。
• 指定されたデータ分布下でのネットワークの一般化誤差を分析し、低誤差への収束を示す。
• 任意の固定N次元埋め込み上での線形分類器が、Nが指数的に増大するか、分類器のノルムが指数的に大きくなる限り、低誤差を達成できないことを証明する。
• ニューラル接線カーネル（NTK）の枠組みをベースラインとして用い、標準的なReLUネットワークと比較することで非線形性の役割を隔離する。
• 入力が数字のストリップで構成され、ラベルがそれらの和のパリティであるように変更されたMNISTデータセット（MNIST-parity）を用いた実験を通じて、理論的主張を実証的に検証する。

実験結果

リサーチクエスチョン

• RQ1 勾配降下法で訓練されたニューラルネットワークは、線形モデルにとって実際に困難であると証明されたスパースパリティを学習できるか？
• RQ2 ニューラルネットワークが低一般化誤差を達成する一方で、線形モデルが指数的に大きな表現を必要とするような分布族が存在するか？
• RQ3 ReLUネットワークの非線形性は、非線形ターゲット関数の学習において線形手法に根本的な優位性を提供するか？
• RQ4 特定の学習タスクに対して、ニューラルネットワークと線形モデルのサンプル数または表現複雑度の間に指数的分離を確立できるか？
• RQ5 データ分布の構造が、ニューラルネットワークによる非線形関数の学習をどの程度促進または阻害するか？

主な発見

• k=3の場合、MNIST-parityタスクにおいて勾配降下法で訓練されたニューラルネットワークは、テスト精度がほぼ80%に達する。
• これに対して、線形モデル（ガウス特徴量、ReLU特徴量、NTK領域のネットワークを含む）は、同じk=3タスクでランダムチョイス（50%）をわずかに上回る性能にとどまる。
• 理論的分析により、固定N次元埋め込み上での任意の線形分類器が、同じ分布族で低誤差を達成するには、Nがkに関して指数的に増大する必要があることが示された。
• 同値的に、表現サイズがkに関して多項式的である場合、任意の線形分類器はパリティ関数を近似するためには指数的に大きなノルムを有する必要がある。
• 指数的分離は、パリティビットが等確率でランダムに設定され、残りのビットが固定または一様分布に従う特定の分布族下で確立された。
• 結果として、勾配降下法で訓練された標準的なReLUネットワークが、固定表現で最適化された場合でさえ、線形モデルでは到達できない根本的に非線形な関数を学習できることを示した。