[論文レビュー] Time/Accuracy Tradeoffs for Learning a ReLU with respect to Gaussian Marginals

Surbhi Goel, Sushrut Karmalkar+1 more|arXiv (Cornell University)|Nov 4, 2019

Blind Source Separation Techniques被引用数 17

ひとこと要約

この論文は、ガウス型周辺分布における平方損失の下で、ReLU を学習するための計算的硬さ結果を初めて確立した。誤差が $\/mathsf{opt} + \epsilon$ 以内であることは、ノイズ付きスパースパリティを学習することと同値であり、勾配降下法が多項式時間内でグローバル最小値に収束できないことを示唆している。また、0/1損失のノイズあり半空間学習への新しい還元を用いて、誤差 $O(\mathsf{opt}^{2/3}) + \epsilon$ を達成する多項式時間アルゴリズムも提示した。

ABSTRACT

We consider the problem of computing the best-fitting ReLU with respect to square-loss on a training set when the examples have been drawn according to a spherical Gaussian distribution (the labels can be arbitrary). Let $\mathsf{opt} < 1$ be the population loss of the best-fitting ReLU. We prove: 1. Finding a ReLU with square-loss $\mathsf{opt} + ε$ is as hard as the problem of learning sparse parities with noise, widely thought to be computationally intractable. This is the first hardness result for learning a ReLU with respect to Gaussian marginals, and our results imply -{\emph unconditionally}- that gradient descent cannot converge to the global minimum in polynomial time. 2. There exists an efficient approximation algorithm for finding the best-fitting ReLU that achieves error $O(\mathsf{opt}^{2/3})$. The algorithm uses a novel reduction to noisy halfspace learning with respect to $0/1$ loss. Prior work due to Soltanolkotabi [Sol17] showed that gradient descent can find the best-fitting ReLU with respect to Gaussian marginals, if the training set is exactly labeled by a ReLU.

研究の動機と目的

• ガウス分布に従う入力の下で平方損失の下でReLUを学習する計算複雑性を調査すること、特にラベルノイズが存在する場合を含む。
• 多項式時間アルゴリズムが最適値 $\\mathsf{opt}$ に近い誤差を達成できるかどうかを特定すること、特にアグノスティック（ノイズあり）設定において。
• ガウス型周辺分布におけるReLU学習のための新しい近似アルゴリズムを構築し、保証された誤差境界を導出すること。
• 勾配降下法を用いたReLU学習の先行研究が、ノイズなし（実現可能）仮定を必要としていることの必要性を確立すること。

提案手法

• ガウス型周辺分布におけるReLU学習問題を、ノイズ付きスパースパリティ学習問題に還元し、標準的仮定の下で計算的硬さを確立する。
• 訓練データをブールラベル問題に変換する新しい変換を用い、0/1損失の下でのアグノスティック半空間学習に還元可能にする。
• ReLU関数のヘルメート展開を分析して定量的相関バウンドを導出し、ReLUのフーリエ係数の既知の公式の欠如を克服する。
• マーカフの不等式と幾何的濃縮を用いて、最適ReLUから $\alpha$-近傍にない点の割合をバウンドし、誤差解析を可能にする。
• 0/1損失の下でのアグノスティック半空間学習の既知のアルゴリズムを活用し、最適 $\mathbf{w}^*$ に近い重みベクトル $\mathbf{w}$ を回復する。誤差バウンドは角度と $L^2$ ノルムの関係から導出される。
• 近似誤差とノイズのトレードオフを最適化するため、$\alpha = \mathsf{opt}^{1/3}$ を設定し、最終的に $O(\mathsf{opt}^{2/3})$ の誤差バウンドを達成する。

実験結果

リサーチクエスチョン

• RQ1 入力分布がガウス分布でラベルがノイズを含む場合、誤差 $\mathsf{opt} + \epsilon$ でReLUを学習することは計算的に困難であるか？
• RQ2 アグノスティック設定下で、ガウス型周辺分布におけるReLU学習において、勾配降下法が多項式時間内でグローバル最小値に収束できるか？
• RQ3 ガウス型周辺分布におけるReLU学習の多項式時間内に達成可能な最良の近似誤差は何か？
• RQ4 近似誤差は最適損失 $\mathsf{opt}$ にどのように依存するか？また、$O(\mathsf{opt}^{2/3})$ よりも改善可能か？
• RQ5 ReLUモデルにおけるバイアスの影響は何か？なぜ先行研究は非バイアスReLUを仮定していたのか？

主な発見

• 誤差 $\mathsf{opt} + \epsilon$ でReLUを見つけることは、ノイズ付きスパースパリティを学習することと同値であり、標準的複雑性仮定の下では多項式時間アルゴリズムが存在しないことを示唆する。
• アグノスティックReLU学習において、ガウス型周辺分布下で勾配降下法が多項式時間内でグローバル最小値に収束できないことは、標準的仮定に依存せずとも成立する。
• 誤差 $O(\mathsf{opt}^{2/3}) + \epsilon$ を達成する多項式時間アルゴリズムが存在し、これはこの問題に対する最初の非自明な近似保証である。
• 近似アルゴリズムは、アグノスティック半空間学習への新しい還元に依存しており、幾何的濃縮と $L^2$ ノルムバウンドを用いた誤差解析が行われる。
• 誤差バウンドにおける指数 $2/3$ は平均化の議論と、解析における最適選択 $\alpha = \mathsf{opt}^{1/3}$ に起因する。
• 定数関数 $1/2$ は、任意の非バイアスReLUより低い平方損失を達成できる可能性があり、これにより先行研究や本研究の結果における非バイアス仮定の重要性が浮き彫りになる。