[論文レビュー] Reliably Learning the ReLU in Polynomial Time

Surbhi Goel, Varun Kanade+2 more|arXiv (Cornell University)|Nov 30, 2016

Neural Networks and Applications被引用数 54

ひとこと要約

本稿では、ラベルが敵対的に破損している可能性がある信頼性のとれたアンタゴニスティック学習モデルにおいて、最初の多項式時間アルゴリズムを提示する。このアルゴリズムは、カーネル法、多項式近似、および二重損失凸最適化フレームワークを組み合わせることで、任意の凸で有界かつリプシッツな損失関数に対して、誤検出と回帰損失の最適なトレードオフを達成する。誤差許容度は ε = Ω(1/log n) である。

ABSTRACT

We give the first dimension-efficient algorithms for learning Rectified Linear Units (ReLUs), which are functions of the form $\mathbf{x} \mapsto \max(0, \mathbf{w} \cdot \mathbf{x})$ with $\mathbf{w} \in \mathbb{S}^{n-1}$. Our algorithm works in the challenging Reliable Agnostic learning model of Kalai, Kanade, and Mansour (2009) where the learner is given access to a distribution $\cal{D}$ on labeled examples but the labeling may be arbitrary. We construct a hypothesis that simultaneously minimizes the false-positive rate and the loss on inputs given positive labels by $\cal{D}$, for any convex, bounded, and Lipschitz loss function. The algorithm runs in polynomial-time (in $n$) with respect to any distribution on $\mathbb{S}^{n-1}$ (the unit sphere in $n$ dimensions) and for any error parameter $ε= Ω(1/\log n)$ (this yields a PTAS for a question raised by F. Bach on the complexity of maximizing ReLUs). These results are in contrast to known efficient algorithms for reliably learning linear threshold functions, where $ε$ must be $Ω(1)$ and strong assumptions are required on the marginal distribution. We can compose our results to obtain the first set of efficient algorithms for learning constant-depth networks of ReLUs. Our techniques combine kernel methods and polynomial approximations with a "dual-loss" approach to convex programming. As a byproduct we obtain a number of applications including the first set of efficient algorithms for "convex piecewise-linear fitting" and the first efficient algorithms for noisy polynomial reconstruction of low-weight polynomials on the unit sphere.

研究の動機と目的

• 深層学習において広く用いられているにもかかわらず、浅いReLUsネットワークの学習における計算ギャップを解消すること。
• 敵対的ラベル下でのしきい値関数の学習の非効用性を克服するため、ReLUsに特化した新しい学習モデルを導入すること。
• 任意のラベルノイズ下で、誤検出と回帰損失の両方を最小化する、効率的で次元にスケーラブルなアルゴリズムを開発すること。
• 定数深さのReLUsネットワークの学習および凸な区分線形フィッティングのための最初の効率的アルゴリズムを確立すること。
• 単位球面上の低重み多項式のノイズあり再構成のためのフレームワークを提供すること。

提案手法

• 信頼性のとれたアンタゴニスティックモデルにおける学習問題を定式化し、誤検出の制御と正例における損失最小化のバランスをとる。
• 正例における誤検出率と凸で有界かつリプシッツな損失を同時に最小化する二重損失目的関数を用いる。
• 入力を再生核ヒルバート空間にマップすることで、効果的な関数近似を実現するためのカーネル法を適用する。
• ReLUs関数とその二重損失目的関数を計算的に扱いやすい形に表現するため、多項式近似技術を用いる。
• 半定形計画法または関連する凸緩和法を用いて、二重損失問題を多項式時間で解く凸最適化フレームワークを設計する。
• 入力分布に依存しない次元効率の高い学習を保証するため、単位球面 S^{n-1} の構造を活用する。

実験結果

リサーチクエスチョン

• RQ1 任意のラベルノイズ下で、強い分布的仮定を必要とせずに、ReLUs関数を効率的に学習できるか？
• RQ2 ReLUsの文脈で、誤検出誤差と回帰損失を同時に最小化できる学習フレームワークは存在するか？
• RQ3 信頼性のあるReLUsの学習の計算複雑度は何か？また、ε = o(1) の場合に多項式時間で達成可能か？
• RQ4 提案されたフレームワークは、より深いReLUsネットワークの学習や、凸な区分線形フィッティングといった関連問題に拡張可能か？
• RQ5 ReLUsの信頼性のある学習は、ノイズ付きスパースパリティの学習やDNF式の学習といった難問の解決にまでつながるのか？

主な発見

• 提案されたアルゴリズムは、単位球面 S^{n-1} 上の任意の分布に対して n に関して多項式時間で実行可能であり、誤差 ε = Ω(1/log n) を達成する。これにより、ReLUs最大化問題に対するPTASが確立される。
• アルゴリズムは、誤検出率と任意の凸で有界かつリプシッツな損失関数を同時に最小化し、敵対的ラベル下でも頑健なトレードオフを提供する。
• このフレームワークにより、ReLUs学習に帰着することで、凸な区分線形フィッティングのための最初の効率的アルゴリズムが得られる。
• 低重み多項式の単位球面上での最初の効率的ノイズあり多項式再構成が可能になる。
• アルゴリズムは合成可能であり、定数深さのReLUsネットワークの学習に応用可能となり、より深いアーキテクチャへの適用範囲が拡張される。
• スパース学習パリティとノイズのハードネス仮定のもとでは、{0,1}^n 上で ℓ1(w) ≤ 2k を満たすReLUsを信頼性を持って学習する多項式時間アルゴリズムは存在しないことが示され、結果がほとんどタイトであることが示される。