[論文レビュー] An Approximation Algorithm for training One-Node ReLU Neural Network

Santanu S. Dey, Guanyi Wang+1 more|arXiv (Cornell University)|Oct 8, 2018

Image Processing and 3D Reconstruction参考文献 17被引用数 6

ひとこと要約

本稿では、1ノードのReLUニューラルネットワークの学習に対する近似アルゴリズムを提示し、問題がNP困難であることを証明するとともに、n^k時間で動作するO(n^k)-timeのアルゴリズムを提供し、n/k-近似を保証する。実現可能ケース（訓練誤差がゼロ）ではグローバル最適解に達し、ガウスノイズモデル下ではnに依存しない漸近的近似比を達成する。ヒューリスティックな精錬と組み合わせることで、勾配降下法を上回る性能を発揮する。

ABSTRACT

Training a one-node neural network with ReLU activation function (One-Node-ReLU) is a fundamental optimization problem in deep learning. In this paper, we begin with proving the NP-hardness of training One-Node-ReLU. We then present an approximation algorithm to solve One-Node-ReLU whose running time is $\mathcal{O}(n^k)$ where $n$ is the number of samples, $k$ is a predefined integral constant. Except $k$, this algorithm does not require pre-processing or tuning of parameters. We analyze the performance of this algorithm under various regimes. First, given any arbitrary set of training sample data set, we show that the algorithm guarantees a $\frac{n}{k}$-approximation for training One-Node-ReLU problem. As a consequence, in the realizable case (i.e. when the training error is zero), this approximation algorithm achieves the global optimal solution for the One-Node-ReLU problem. Second, we assume that the training sample data is obtained from an underlying one-node neural network with ReLU activation function, where the output is perturbed by a Gaussian noise. In this regime, we show that the same approximation algorithm guarantees a much better asymptotic approximation ratio which is independent of the number of samples $n$. Finally, we conduct extensive empirical studies and arrive at two conclusions. One, the approximation algorithm together with some heuristic performs better than gradient descent algorithm. Two, the solution of the approximation algorithm can be used as starting point for gradient descent -- a combination that works significantly better than gradient descent.

研究の動機と目的

• 1ノードReLUニューラルネットワークの学習の計算複雑性を確立すること。
• 保証された最悪ケース性能を有する、パラメータフリーの近似アルゴリズムをOne-Node-ReLU問題に設計すること。
• アルゴリズムの性能を、任意のデータおよび統計的モデルの枠組みで分析すること。
• アルゴリズムの有効性と勾配降下法の初期化としての有用性を実験的に評価すること。

提案手法

• アルゴリズムは、kが事前に定義された整数定数であるO(n^k)時間で実行され、事前処理やハイパーパramータチューニングを一切不要とする。
• 任意の訓練データセットに対して、n/k-近似を保証する。
• 実現可能ケース（訓練誤差がゼロ）では、グローバル最適解に到達する。
• 出力がガウスノイズで摂動される統計的モデル下では、nに依存しない漸近的近似比を達成する。
• ReLU活性化関数の構造的性質と損失関数の幾何的性質を活用して、効率的に有望な解を同定する。
• 実験的検証では、アルゴリズムにヒューリスティックを組み合わせ、その出力を勾配降下法の初期化として用いる。

実験結果

リサーチクエスチョン

• RQ1 One-Node-ReLU学習問題はNP困難であるか？
• RQ2 任意のデータに対して、保証された性能を持つ近似アルゴリズムを設計できるか？
• RQ3 真の関数がモデルで表現可能である実現可能ケースでは、アルゴリズムはどのように性能を発揮するか？
• RQ4 ガウスノイズを伴う統計的モデル下で、アルゴリズムはより良い近似比を達成するか？
• RQ5 アルゴリズムの解は、勾配降下法の有効な初期化として機能するか？

主な発見

• One-Node-ReLU問題は、部分和問題への帰着によりNP困難であることが証明された。
• 提案されたアルゴリズムは、任意のデータセットに対してn/k-近似を保証する。近似比はkが大きくなるほど改善される。
• 実現可能ケース（訓練誤差がゼロ）では、アルゴリズムはグローバル最適解に到達する。
• ガウスノイズモデル下では、サンプル数nに依存しない漸近的近似比を達成する。これは、最悪ケースの境界を著しく上回る。
• 実験的に、ヒューリスティックと組み合わせたアルゴリズムは、標準的な勾配降下法を上回る性能を発揮する。
• アルゴリズムの出力を勾配降下法の初期化として用いることで、ランダム初期化で学習する場合よりも著しく優れた性能が得られる。