[論文レビュー] Learning Depth-Three Neural Networks in Polynomial Time.

Surbhi Goel, Adam R. Klivans|arXiv (Cornell University)|Sep 18, 2017

Machine Learning and Algorithms被引用数 20

ひとこと要約

本稿では、シグモイドユニットが1層の隠れ層を持つ深さ3のニューラルネットワークを学習する多項式時間アルゴリズムであるAlphatronを提示する。等方的回帰とカーネル法を組み合わせることで、ユニットボール上の任意の分布に対して、構造的仮定なしに、保証された効率性を達成する。これは、このようなネットワークに対する、仮定なしで効率的なアルゴリズムとして初めてのものである。

ABSTRACT

We give a polynomial-time algorithm for learning neural networks with one hidden layer of sigmoids feeding into any smooth, monotone activation function (e.g., sigmoid or ReLU). We make no assumptions on the structure of the network, and the algorithm succeeds with respect to {\em any} distribution on the unit ball in $n$ dimensions (hidden weight vectors also have unit norm). This is the first assumption-free, provably efficient algorithm for learning neural networks with more than one hidden layer. Our algorithm-- {\em Alphatron}-- is a simple, iterative update rule that combines isotonic regression with kernel methods. It outputs a hypothesis that yields efficient oracle access to interpretable features. It also suggests a new approach to Boolean function learning via smooth relaxations of hard thresholds, sidestepping traditional hardness results from computational learning theory. Along these lines, we give improved results for a number of longstanding problems related to Boolean concept learning, unifying a variety of different techniques. For example, we give the first polynomial-time algorithm for learning intersections of halfspaces with a margin (distribution-free) and the first generalization of DNF learning to the setting of probabilistic concepts (queries; uniform distribution). Finally, we give the first provably correct algorithms for common schemes in multiple-instance learning.

研究の動機と目的

• データ分布やネットワーク構造に関する仮定なしに、深さ3のニューラルネットワークを保証された効率性で学習するアルゴリズムの開発。
• 既存の学習アルゴリズムがデータやネットワーク構造に関する制限付き仮定を必要としているという限界を克服すること。
• 半空間の積や確率的DNF学習を含む、長年のブール関数学習の問題を統合的かつ改善すること。
• 一般的な複数インスタンス学習スキームに対する、初めての正しい保証付きアルゴリズムを提供すること。

提案手法

• Alphatronは、等方的回帰とカーネル法を組み合わせた反復的更新ルールを用いて、ネットワーク重みを学習する。
• アルゴリズムは、関数クラスを効率的に表現・最適化できるカーネル化された仮説空間を利用する。
• 従来のブール関数学習における計算の難しさを避けるために、ハードスイッチのスムーズな緩和を活用する。
• 学習された仮説を通じて、解釈可能な特徴へのオракルアクセスを保証する。
• 等方的回帰を用いて、出力に単調性制約を課して予測を精緻化する。
• 隠れユニットの重みが単位球面上にあるという制約の下で動作し、安定性と一般化を確保する。

実験結果

リサーチクエスチョン

• RQ1 データ分布やネットワーク構造に関する仮定なしに、深さ3のニューラルネットワークを学習できる多項式時間アルゴリズムを設計できるか？
• RQ2 ハードスイッチのスムーズな緩和は、ブール関数の学習可能性をどのように向上させるか？
• RQ3 マージン付き半空間の積は、分布に依存しない設定で効率的に学習可能か？
• RQ4 一様分布下で、DNF学習を確率的概念へ一般化することは可能か？
• RQ5 標準的な複数インスタンス学習スキームに対する、初めての保証付き正しいアルゴリズムは何か？

主な発見

• Alphatronは、シグモイドユニットが1層の隠れ層を持つ深さ3のニューラルネットワークを学習する、仮定なしで保証された効率性を持つ最初のアルゴリズムである。
• アルゴリズムは、n次元のユニットボール上の任意の分布に対して、多項式時間で収束する。
• 学習された仮説を通じて、解釈可能な特徴への効率的なオラクルアクセスを提供する。
• この手法は、半空間の積のマージン付き学習に対する最初の分布に依存しないアルゴリズムを含む、ブール関数学習分野の既存結果を統合的かつ改善する。
• 一様分布下で、確率的概念へのDNF学習の一般化を実現し、このような多項式時間アルゴリズムを初めて提供する。
• 本稿は、一般的な複数インスタンス学習スキームに対する、初めての保証付き正しいアルゴリズムを確立した。