[論文レビュー] Complexity of Training ReLU Neural Network

Digvijay Boob, Santanu S. Dey+1 more|arXiv (Cornell University)|Sep 27, 2018

Neural Networks and Applications参考文献 19被引用数 18

ひとこと要約

この論文は、2層隠れ層を持つフィードフォワードReLUニューラルネットワークの学習がNP困難であることを確立し、深層学習の複雑性に関する長年の未解決問題を解決した。しかし、入力次元とネットワークトポロジーが固定されている場合、多項式時間アルゴリズムが存在する。さらに、最初の隠れ層における十分な過パラメータ化により、グローバル最適解への多項式時間学習が可能になる。

ABSTRACT

In this paper, we explore some basic questions on the complexity of training neural networks with ReLU activation function. We show that it is NP-hard to train a two-hidden layer feedforward ReLU neural network. If dimension of the input data and the network topology is fixed, then we show that there exists a polynomial time algorithm for the same training problem. We also show that if sufficient over-parameterization is provided in the first hidden layer of ReLU neural network, then there is a polynomial time algorithm which finds weights such that output of the over-parameterized ReLU neural network matches with the output of the given data.

研究の動機と目的

• 深層ReLUニューラルネットワークの学習における計算複雑性に関する未解決問題を解消すること。
• 勾配ベース手法の実証的成功にもかかわらず理論的不確実性が残る中で、2隠れ層ReLUネットワークの学習がNP困難であるかどうかを特定すること。
• 入力次元とネットワーク構造が固定されている場合に、学習がどのようにして tractable になるかを調査すること。
• 過パラメータ化がReLUネットワーク学習の tractability に与える影響を分析すること。
• 新しい還元法と幾何的議論を用いて、しきい値活性化ネットワークからの硬度結果をReLU活性化ネットワークへ拡張すること。

提案手法

• 2ハイパーハイパープランの分離問題への還元を用いて、2隠れ層ReLUネットワークの学習のNP困難性を証明する。
• 特定の重みおよびバイアス設定に依存する、ReLUユニットを用いたハードソーティングガジェットの構築により、しきい値の動作を模倣する。
• アフィン関数とReLU活性化を用いて区分線形関数をモデル化し、線形形式の異なる符号および大きさの領域における関数的挙動を分析する。
• 最初の層の重みが同じ符号を持ち、かつ負である場合、特定の制約下でReLUネットワークがしきい値に類似した挙動を再現できることを証明する。
• ゼロ出力ノードを追加することで、多出力ReLUネットワークへの硬度結果の拡張を行い、還元構造を保持する。
• 幾何的および凸包の議論（例：$T_1 \subset \text{conv}(T_0)$）を適用し、特定の構成下で分離が不可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 2隠れ層ReLUニューラルネットワークの学習はNP困難であるか？
• RQ2 一般にNP困難であるにもかかわらず、どのような条件下で学習問題が tractable になるか？
• RQ3 最初の隠れ層における過パラメータ化が、ReLUネットワークの多項式時間学習を可能にするか？
• RQ4 ReLUネットワークはどの程度までしきい値関数を模倣できるのか？ そして、これはしきい値活性化ネットワークと同様の複雑性を示唆するのか？
• RQ5 重み行列の構造（例：対角行列対非対角行列）は、学習の複雑性に影響を与えるか？

主な発見

• 入力次元とネットワークトポロジーが固定されていても、2隠れ層ReLUニューラルネットワークの学習はNP困難である。
• 入力次元とネットワークトポロジーが固定されている場合、ReLUネットワークの学習に対して多項式時間アルゴリズムが存在する。
• 最初の隠れ層に十分な過パラメータ化がなされれば、訓練データの正確なフィッティングを達成する多項式時間アルゴリズムを構築できる。
• ReLUネットワークはハードソーティングガジェットを介してしきい値に類似した挙動を再現できるが、これは特定の重み設定に依存し、重みの符号が異なる場合には達成できない。
• 多出力ReLUネットワークに対しても、NP困難性の結果は成り立つ。これは、1つのノードを除くすべてのノードにゼロ出力を追加することで、$j$次元出力へ還元を拡張した結果である。
• 正規ベクトルが一致または反対方向を向くReLUユニットでは、特定の点集合をハードソーティングできないことの証明は、一般のReLUアーキテクチャにおいてしきい値関数を模倣するための核心的な幾何的障害を示している。