[論文レビュー] Learning Neural Networks with Two Nonlinear Layers in Polynomial Time

Surbhi Goel, Adam R. Klivans|arXiv (Cornell University)|Sep 18, 2017

Machine Learning and Algorithms参考文献 28被引用数 34

ひとこと要約

本稿では、シグモイド隠れユニットと任意のリプシッツ的・単調な出力活性化関数（例：ReLU やシグモイド）を備えた2層ニューラルネットワークを学習する多項式時間アルゴリズム、Alphatron を提示する。本手法は、ユニットボール上での任意の分布に対して、分布的・構造的仮定なしに効率的な学習を達成し、このようなネットワークに対する、前提を一切含まない初めての保証付き効率的学習法を提供する。サンプル数および実行時間の複雑さは、入力次元、ネットワークサイズ、逆精度の多項式関数として得られる。

ABSTRACT

We give a polynomial-time algorithm for learning neural networks with one layer of sigmoids feeding into any Lipschitz, monotone activation function (e.g., sigmoid or ReLU). We make no assumptions on the structure of the network, and the algorithm succeeds with respect to {\em any} distribution on the unit ball in $n$ dimensions (hidden weight vectors also have unit norm). This is the first assumption-free, provably efficient algorithm for learning neural networks with two nonlinear layers. Our algorithm-- {\em Alphatron}-- is a simple, iterative update rule that combines isotonic regression with kernel methods. It outputs a hypothesis that yields efficient oracle access to interpretable features. It also suggests a new approach to Boolean learning problems via real-valued conditional-mean functions, sidestepping traditional hardness results from computational learning theory. Along these lines, we subsume and improve many longstanding results for PAC learning Boolean functions to the more general, real-valued setting of {\em probabilistic concepts}, a model that (unlike PAC learning) requires non-i.i.d. noise-tolerance.

研究の動機と目的

• 1層のシグモイドユニットと任意のリプシッツ的・単調な出力活性化関数を持つ2層ニューラルネットワークを、保証付き効率的アルゴリズムで学習するための開発。
• データ分布、ネットワーク構造、重みベクトルに関する制限的仮定の排除—ユニットボール上での仮定なし学習の実現。
• 学習された仮説における解釈可能な特徴への効率的オラクルアクセスの提供—特徴レベルでの解釈性の実現。
• 計算学習理論の範囲を拡張し、より一般化された確率的概念モデルにおいて、ブール関数のPAC学習に関する既知の結果を包含・改善すること。
• DNF式、ハーフスペースのメジャリティ、およびサブモジュラ関数などのクラスに対する、初めての非i.i.d.ノイズ耐性学習アルゴリズムの確立。

提案手法

• 等単調回帰とカーネル法を組み合わせた反復的アルゴリズムであるAlphatronを提案。特徴のリプシッツ的・単調な組み合わせを実数値で学習可能。
• カーネルに基づく表現を用いて、特徴の積を暗黙的に符号化。明示的な計算なしに係数への効率的オラクルアクセスを可能に。
• スパースフーリエ近似への射影演算子を適用。KMアルゴリズムを滑らかで単調な関数の確率的概念モデルへ拡張。
• リニアル・マンサール・ニーサンの低次元アルゴリズムを一般化し、低重み多項式で近似可能な回路の単調な組み合わせを学習可能に。
• ハーフスペースの積の低重み多項式近似を活用し、このような組み合わせに対する初めての多項式時間アルゴリズムを達成。
• 多項式カーネルとカーネル化された等単調回帰を用いて、袋内に依存するインスタンスを含む複数インスタンス学習（MIL）を処理。

実験結果

リサーチクエスチョン

• RQ1 1層のシグモイドユニットと任意のリプシッツ的・単調な出力活性化関数を持つ2層ニューラルネットワークを、分布的・構造的仮定なしに多項式時間で学習可能か？
• RQ2 古典的ブール概念クラス（例：DNF、ハーフスペースのメジャリティ）を実数値の確率的概念へ一般化することで、非i.i.d.ノイズ耐性学習を達成可能か？
• RQ3 カーネル法による暗黙的表現であっても、仮説における解釈可能な特徴への効率的オラクルアクセスが可能か？
• RQ4 古典的学習アルゴリズム（例：KM、LMN）を確率的概念モデルへ拡張し、複雑な関数クラスのアグノスティックでノイズ耐性のある学習を達成可能か？
• RQ5 袋内インスタンスが独立でないという仮定なしに、複数インスタンス学習（MIL）における保証付き一般化を達成可能か？

主な発見

• Alphatron は、1層のシグモイドユニットと任意のリプシッツ的・単調な出力活性化関数を持つ2層ReLUまたはシグモイドネットワークを、$n$、$k$、$1/ heta$、$L$ の多項式時間およびサンプル複雑性で学習可能であり、$ ext{error} riangleq ext{Err}(c, u(f( extbf{x}))) \rightarrow \theta$ を達成する。
• 本手法は、アグノスティック学習におけるReLU関数の既知の最悪ケースの難解性を克服し、2つの非線形層の前提なし多項式時間学習を達成する、初めての仮定なし学習法である。
• 超立方体上での一様分布に対して、Alphatron はスパースフーリエ近似を用いて、$L_1$-有界関数の滑らかで単調な組み合わせを学習することで、先行研究を上回る性能を達成する。
• 本手法は、リニアル・マンサール・ニーサンの低次元アルゴリズムを一般化し、低重み多項式で近似可能な回路の単調な組み合わせを学習可能にし、確率的概念モデルにおける「無料の」学習を実現する。
• Alphatron は、ハーフスペースのメジャリティおよびDNF式に対する、非i.i.d.ノイズ耐性学習アルゴリズムを初めて提供し、従来のi.i.d.ノイズや小さなマージンを仮定する手法を上回る。
• 複数インスタンス学習（MIL）において、Alphatron はユニット球上での定数マージン付きハーフスペースおよびシグモイドネットワークを、袋内インスタンスの独立性を仮定せず、多項式時間およびサンプル複雑性で学習可能である。