[論文レビュー] Learning Halfspaces and Neural Networks with Random Initialization

Yuchen Zhang, Jason D. Lee+2 more|arXiv (Cornell University)|Nov 25, 2015

Machine Learning and Algorithms参考文献 29被引用数 22

ひとこと要約

本稿では、非凸でリプシッツ連続な損失関数を伴うハーフスペースおよびディープニューラルネットワークの学習のための確率的初期化ベースのアルゴリズムを提案する。複数のランダム初期化をローカル最適化と組み合わせることで、標本サイズおよび次元に関して多項式時間で、かつ $ (L/\epsilon^2)\log(L/\epsilon) $ に関して指数時間で、任意に小さい超過リスクを達成する。標準的な複雑度仮定の下では、この指数的依存性は避けられないことが示されている。

ABSTRACT

We study non-convex empirical risk minimization for learning halfspaces and neural networks. For loss functions that are $L$-Lipschitz continuous, we present algorithms to learn halfspaces and multi-layer neural networks that achieve arbitrarily small excess risk $ε>0$. The time complexity is polynomial in the input dimension $d$ and the sample size $n$, but exponential in the quantity $(L/ε^2)\log(L/ε)$. These algorithms run multiple rounds of random initialization followed by arbitrary optimization steps. We further show that if the data is separable by some neural network with constant margin $γ>0$, then there is a polynomial-time algorithm for learning a neural network that separates the training data with margin $Ω(γ)$. As a consequence, the algorithm achieves arbitrary generalization error $ε>0$ with ${ m poly}(d,1/ε)$ sample and time complexity. We establish the same learnability result when the labels are randomly flipped with probability $η<1/2$.

研究の動機と目的

• ハーフスペースおよびニューラルネットワークの非凸的経験的リスク最小化の課題に取り組むこと。特に、$ L $-リプシッツ連続な損失関数を伴う場合を想定する。
• ゼロ一損失を最小化することはNP困難であるが、確率的初期化 followed でローカル最適化を用いたアルゴリズムに対して理論的保証を提供すること。
• データが一定マージンで線形分離可能である場合に、多項式時間での学習が可能となる条件を確立すること。
• 標準的な複雑度理論的仮定の下で、時間計算量における $ 1/\epsilon $ への指数的依存性がなぜ避けられないかを分析すること。
• 重みの $ \ell_1 $-ノルムが有界な多層ニューラルネットワークにこの枠組みを拡張し、マージン条件の下での一般化保証を示すこと。

提案手法

• ハーフスペース学習のためのアルゴリズム1を提案。単位球面上での一様ランダム初期化を用いてパラメータ空間を探索する。
• 最小二乗法に基づく初期化を導入し、ランダム初期化に比べて収束性と理論的保証を向上させるアルゴリズム2を提案する。
• 複数回のランダム初期化を実行し、その後にローカル最適化（例：SGD）を適用することで、悪い局所最適解を回避し、低超過リスクを達成する。
• 入力重みの $ \ell_1 $-ノルムが定数 $ B $ で有界であるという制約下で、$ m $-層のシグモイド活性化関数を用いたニューラルネットワークにこの枠組みを拡張する。
• 弱分類器を学習するサブルーチンを用いて、段階的に隠れ層を構築する新しいトレーニング手法であるBoostNet（アルゴリズム3）を開発する。
• $ \text{RP} \neq \text{NP} $ を根拠とする下界結果を用いて、一般の $ L $-リプシッツ損失関数に対して、$ L/\epsilon $ への指数的依存性が避けられないことを示す。

実験結果

リサーチクエスチョン

• RQ1 確率的初期化とローカル最適化の組み合わせにより、ハーフスペース学習における非凸経験的リスク最小化で、任意に小さい超過リスクを達成できるか？
• RQ2 データが一定マージン $ \gamma > 0 $ で線形分離可能である場合、$ L $-リプシッツ損失関数を伴うハーフスペース学習に対して多項式時間アルゴリズムが存在するか？
• RQ3 ハーフスペース学習における $ L $-リプシッツ損失関数の固有の時間計算量は何か？ また、$ 1/\epsilon $ への指数的依存性を回避できるか？
• RQ4 重みノルムが有界なディープニューラルネットワークにこの枠組みを拡張できるか？ また、マージン条件の下でどのような一般化保証が得られるか？
• RQ5 提案されたBoostNetアルゴリズムは、ノイズのあるパリティ関数（例：$ p=5 $）を学習する際、標準的なバックプロパゲーションと比較してどのように性能を発揮するか？

主な発見

• 任意の $ \epsilon > 0 $ に対して、提案されたアルゴリズムは $ n $ および $ d $ に関して多項式時間で $ \epsilon $-超過リスクを達成するが、$ (L/\epsilon^2)\log(L/\epsilon) $ に関して指数時間となる。$ \text{RP} \neq \text{NP} $ の下では、この指数的項が避けられない。
• データが一定マージン $ \gamma > 0 $ で $ \gamma $-分離可能である場合、一般化誤差 $ \epsilon $ を達成する多項式時間アルゴリズムが存在し、標本および時間計算量が $ \text{poly}(d, 1/\epsilon) $ で抑えられる。
• ラベルが確率 $ \eta < 1/2 $ でランダムに反転しても、アルゴリズムは一般化性能を維持する。
• ノイズのあるパリティ関数（特に $ p=5 $ のような高次パリティ）の学習において、BoostNetは標準的なバックプロパゲーションを上回る性能を示し、特に後者では一般化に失敗する。
• 理論的分析により、標準的な複雑度仮定の下で $ 1/\epsilon $ への指数的依存性が避けられないことが示され、境界がタイトである可能性が示唆される。
• 確率的初期化の理論的裏付けが与えられる：複数回の初期化により、良い局所最適解に到達する確率が向上する。また、最小二乗法によるより良い初期化は、より強い保証をもたらす。