[論文レビュー] Sample Complexity Bounds for Recurrent Neural Networks with Application to Combinatorial Graph Problems

Nil-Jana Akpinar, Bernhard Kratzwald+1 more|arXiv (Cornell University)|Jan 29, 2019

Machine Learning and Algorithms参考文献 45被引用数 5

ひとこと要約

本稿は、実数値の再帰的ニューラルネットワーク（RNN）の最初の理論的サンプル複雑度の境界を確立し、$ a $ 個の ReLU ユニットと入力長 $ b $ を持つ1層の RNN が、母集団の予測誤差を $ \varepsilon $ に抑えるために $ \tilde{\mathcal{O}}(a^4b/\varepsilon^2) $ 個のサンプルを必要とするということを示している。組合せ的グラフ問題、例えば NP 困難なエッジクリーク被覆番号に応用した場合、境界は $ \tilde{\mathcal{O}}(n^6/\varepsilon^2) $ と多項式的にスケーリングされ、RNN が理論的に裏付けられるとともに、ヒューリスティックソルバーと競合可能であることを示している。

ABSTRACT

Learning to predict solutions to real-valued combinatorial graph problems promises efficient approximations. As demonstrated based on the NP-hard edge clique cover number, recurrent neural networks (RNNs) are particularly suited for this task and can even outperform state-of-the-art heuristics. However, the theoretical framework for estimating real-valued RNNs is understood only poorly. As our primary contribution, this is the first work that upper bounds the sample complexity for learning real-valued RNNs. While such derivations have been made earlier for feed-forward and convolutional neural networks, our work presents the first such attempt for recurrent neural networks. Given a single-layer RNN with $a$ rectified linear units and input of length $b$, we show that a population prediction error of $\varepsilon$ can be realized with at most $ ilde{\mathcal{O}}(a^4b/\varepsilon^2)$ samples. We further derive comparable results for multi-layer RNNs. Accordingly, a size-adaptive RNN fed with graphs of at most $n$ vertices can be learned in $ ilde{\mathcal{O}}(n^6/\varepsilon^2)$, i.e., with only a polynomial number of samples. For combinatorial graph problems, this provides a theoretical foundation that renders RNNs competitive.

研究の動機と目的

• 実数値の再帰的ニューラルネットワーク（RNN）の一般化とサンプル複雑度に関する理論的ギャップを埋めること。RNN は広く使われているが、その背後にある理論的裏付けは依然として不十分である。
• 制御された予測誤差で RNN を学習するために必要な訓練サンプル数の明示的な上界を導出すること、特に実数値出力の場合を対象とする。
• これらの境界を組合せ的グラフ問題（例：NP 困難なエッジクリーク被覆番号）に適用することで、理論的境界の実用的関連性を示すこと。
• グラフベースの予測タスクにおける外挿性能とノイズへのロバストネスを評価する数値実験を通じて、理論的発見の妥当性を検証すること。

提案手法

• RNN の再帰構造に特化した、Rademacher 複雑度と被覆数の議論を用いて一般化境界を導出する。
• 入力シーケンス長が $ b $ で、$ a $ 個の再帰的ユニットを持つ1層 RNN を分析し、サンプル複雑度が $ \tilde{\mathcal{O}}(a^4b/\varepsilon^2) $ であることを導出する。
• 深層 RNN に一般化し、$ d $ 層で最大幅が $ a_{\text{max}} $ の場合、境界が $ \tilde{\mathcal{O}}(d^2 a_{\text{max}}^4 b / \varepsilon^2) $ であることを示す。
• 最大 $ n $ 頂点のグラフを処理するサイズ適応型 RNN に境界を適用し、サンプル複雑度が $ \tilde{\mathcal{O}}(n^6 / \varepsilon^2) $ にスケーリングされることを導出する。
• エッジクリーク被覆番号問題における数値実験を通じて、訓練データサイズやノイズレベルの変動に対する外挿性能を評価する。
• RNN の予測結果をベースラインヒューリスティック（例：Kellerman ヒューリスティック）と多数決ベースラインと比較し、制御された摂動と異なるグラフタイプの下で評価する。

実験結果

リサーチクエスチョン

• RQ1 実数値の再帰的ニューラルネットワーク、特に ReLU 活性化関数を用いた場合のサンプル複雑度は何か？
• RQ2 RNN のネットワークの深さ、幅、入力シーケンス長がサンプル複雑度にどのように影響するか？
• RQ3 組合せ的グラフ問題（例：エッジクリーク被覆番号）に理論的サンプル複雑度の境界を導出し、適用できるか？
• RQ4 ノイズのあるラベルに対して、予測精度とロバストネスの観点から、RNN は最先端のヒューリスティックと比較してどの程度の性能を示すか？

主な発見

• 入力長 $ b $ で $ a $ 個の ReLU ユニットを持つ1層 RNN のサンプル複雑度は、$ \tilde{\mathcal{O}}(a^4b/\varepsilon^2) $ で抑えられ、母集団の予測誤差が $ \varepsilon $ に保証される。
• 深層 RNN で $ d $ 層、最大幅 $ a_{\text{max}} $ の場合、サンプル複雑度は $ \tilde{\mathcal{O}}(d^2 a_{\text{max}}^4 b / \varepsilon^2) $ で抑えられる。
• サイズ $ n $ のグラフに適用した場合、サイズ適応型 RNN のサンプル複雑度は $ \tilde{\mathcal{O}}(n^6 / \varepsilon^2) $ にスケーリングされ、元の問題が NP 困難であるにもかかわらず、多項式的成長を示す。
• 数値実験の結果、RNN は Kellerman ヒューリスティックと多数決ベースラインを上回り、十分な訓練データがある場合に顕著な優位性を示す。
• ラベルに最大 10% の相対的ノイズが加わっても、RNN は強力な性能を維持し、2層の深層ネットワークが1層モデルを上回る性能を示す。
• たとえ理論的上界よりもはるかに少ない 4,000 個の訓練サンプルでも、満足できる予測性能が達成可能である。