[論文レビュー] The Computational Complexity of Training ReLU(s)

Pasin Manurangsi, Daniel Reichman|arXiv (Cornell University)|Oct 9, 2018

Adversarial Robustness in Machine Learning参考文献 1被引用数 21

ひとこと要約

この論文は、深さ2のReLUニューラルネットワークの学習の計算複雑性を確立し、実現可能ケースにおいても、1つのReLUまたは2つのReLUの場合に二乗誤差を最小化することは、NP困難であることを証明している。さらに、重みと入力が単位球内にあるネットワークに対して、時間 $2^{(k/\epsilon)^{O(1)}}n^{O(1)}}$ で動作する適切な学習アルゴリズムを提供しており、先行する不適切な学習結果を拡張している。

ABSTRACT

We consider the computational complexity of training depth-2 neural networks composed of rectified linear units (ReLUs). We show that, even for the case of a single ReLU, finding a set of weights that minimizes the squared error (even approximately) for a given training set is NP-hard. We also show that for a simple network consisting of two ReLUs, the error minimization problem is NP-hard, even in the realizable case. We complement these hardness results by showing that, when the weights and samples belong to the unit ball, one can (agnostically) properly and reliably learn depth-2 ReLUs with $k$ units and error at most $ε$ in time $2^{(k/ε)^{O(1)}}n^{O(1)}$; this extends upon a previous work of Goel, Kanade, Klivans and Thaler (2017) which provided efficient improper learning algorithms for ReLUs.

研究の動機と目的

• 深さ2のReLUネットワークの二乗誤差最小化に関する計算複雑性を特定すること。
• 訓練誤差がゼロに達する理論的に可能な実現可能ケースにおいても、ReLU学習問題が依然として難しいかどうかを調査すること。
• 重みと入力のノルムに制限を設けたReLUネットワークに対して、適切で信頼性のある学習アルゴリズムを設計し、先行する不適切な学習手法を改善すること。
• 学習の難易度（NP困難）と、特定のノルム制約下での学習可能性の間の分離を確立すること。
• ReLU学習のNP困難性と、しきい値ユニットや平均ケースの困難性に関する先行結果との関係を明確にすること。

提案手法

• 既知のNP困難問題への還元を用いて、ReLU学習のNP困難性を証明し、最小誤差をほぼ多項式要因内で近似することすらNP困難であることを示している。
• 近似最小化子を適切なReLU仮説に変換するためのバイアスシフト技術を導入し、誤差を制御することで、出力が有効なReLUネットワークのまま保たれることを保証している。
• 一般化誤差を推定するために、リプシッツ損失関数（例：$\ell_{\gamma\text{-cont}}$）を用いた一般化境界を適用し、信頼性のある学習保証を得ている。
• 二乗損失が出力範囲 $[0, 2k]$ でリプシッツ的かつ有界であるという事実を用い、一般化定理を適用して一般化誤差をバウンディングしている。
• 仮説を有限サンプル上での経験的誤差最小化から得るサンプルベース最適化戦略を採用し、その後バイアス調整を施して適切なReLU構造を保証している。
• 近似理論およびカーネル法の道具を用い、Goelら [GKKT17] の先行研究に基づいて、時間複雑度 $2^{(k/\epsilon)^{O(1)}}n^{O(1)}}$ の学習アルゴリズムを設計している。

実験結果

リサーチクエスチョン

• RQ1 1つのReLUネットワークを二乗誤差を最小化するように学習させることはNP困難か？
• RQ2 訓練データが実現可能（すなわち、ゼロ誤差が理論的に達成可能）な場合でも、ReLU学習問題はNP困難か？
• RQ3 重みと入力が有界なReLUネットワークに対して、誤差 $\epsilon$ を達成する適切な学習アルゴリズムを、$k/\epsilon$ の指数関数的時間内に設計できるか？
• RQ4 ReLU学習のNP困難性は、しきい値ユニットや平均ケースの仮定に関する先行の困難性結果とどのように関係しているか？
• RQ5 バイアスシフトを用いて、不適切な解を適切なReLUネットワークに変換しつつ、一般化保証を維持できるか？

主な発見

• 1つのReLUネットワークを二乗誤差を最小化するように学習させることは、ほぼ多項式要因内で近似することでさえもNP困難である。
• 2つのReLUの場合、ゼロ訓練誤差が理論的に可能である実現可能ケースにおいても、誤差最小化問題は依然としてNP困難である。
• 重みと入力が単位球内にあるReLUネットワークに対して、誤差が $\epsilon$ 以下となる適切な学習アルゴリズムが存在し、時間 $2^{(k/\epsilon)^{O(1)}}n^{O(1)}}$ で動作する。
• 提案されたアルゴリズムは信頼性があり、ReLU関数を適切に学習しており、Goel ら [GKKT17] の先行する不適切な学習結果を改善している。
• 主な技術的洞察は、バイアスシフトが一般化を保ちつつ、出力が有効なReLUネットワークのまま保たれることである。
• リプシッツ的かつ有界な損失関数を用いて一般化境界を確立し、経験的誤差最小化から信頼性のある誤差保証を導出できるようにしている。