[論文レビュー] Towards Understanding Hierarchical Learning: Benefits of Neural Representations

Minshuo Chen, Yu Bai+5 more|arXiv (Cornell University)|Jun 24, 2020

Neural Networks and Applications参考文献 53被引用数 9

ひとこと要約

この論文は、深層ネットワークにおける中間ニューラル表現が、高次多項式関数の学習におけるサンプル効率を顕著に向上させることを示している。次数$p$の多項式関数を学習する際、入力データを直接用いる場合のサンプル複雑度$\widetilde{O}(d^{p-1})$と比較して、中間表現を用いることで$\widetilde{O}(d^{\lceil p/2\rceil})$まで低減できることを示している。この利点は、広い2層ネットワークの2次テイラー近似モデルを用いる場合に生じるが、NTKに基づくモデルでは同様の利点は得られない。

ABSTRACT

Deep neural networks can empirically perform efficient hierarchical learning, in which the layers learn useful representations of the data. However, how they make use of the intermediate representations are not explained by recent theories that relate them to "shallow learners" such as kernels. In this work, we demonstrate that intermediate neural representations add more flexibility to neural networks and can be advantageous over raw inputs. We consider a fixed, randomly initialized neural network as a representation function fed into another trainable network. When the trainable network is the quadratic Taylor model of a wide two-layer network, we show that neural representation can achieve improved sample complexities compared with the raw input: For learning a low-rank degree-$p$ polynomial ($p \geq 4$) in $d$ dimension, neural representation requires only $ ilde{O}(d^{\lceil p/2 ceil})$ samples, while the best-known sample complexity upper bound for the raw input is $ ilde{O}(d^{p-1})$. We contrast our result with a lower bound showing that neural representations do not improve over the raw input (in the infinite width limit), when the trainable network is instead a neural tangent kernel. Our results characterize when neural representations are beneficial, and may provide a new perspective on why depth is important in deep learning.

研究の動機と目的

• 深層ネットワークにおける階層的学習が浅層モデルに比べて何の条件下で利点をもたらすかを理解すること。
• 複雑な関数を学習する際の、中間ニューラル表現がサンプル効率をどのように向上させるかを調査すること。
• 特に2次テイラー近似モデルとニューラルタングェントカーネル（NTK）の違いに注目し、最適化の異なる設定下でのニューラル表現の利点を対比すること。
• 深さと表現学習が一般化性能を向上させる条件を理論的に特定すること。

提案手法

• 固定されたランダム初期化されたニューラルネットワークを表現関数$\mathbf{h}(\mathbf{x})$として用い、上位層の重みのみを学習する3層ネットワークをモデル化する。
• 初期値付近の学習ダイナミクスをモデル化するため、広い2層ネットワークの2次テイラー近似を用いてサンプル複雑度を分析する。
• 入力データを直接用いる場合（$\mathbf{h}(\mathbf{x}) = \mathbf{x}$）とニューラル表現を用いる場合（$\mathbf{h}(\mathbf{x}) = \sigma(\mathbf{V}\mathbf{x} + \mathbf{b})$）を比較する。
• 2次テイラー近似モデルとNTK設定下で、$d$次元空間におけるランクが低い次数$p$の多項式関数を学習する際のサンプル複雑度の境界を導出する。
• 濃度不等式および作用素ノルムと重みベクトルノルムの境界を用いて理論的保証を確立する。
• 無限大のネットワーク幅におけるNTK極限では表現による利点が得られないことを示す下界を含み、最適化設定の違いに起因する重要な相違点を明らかにする。

実験結果

リサーチクエスチョン

• RQ1 中間ニューラル表現を用いることで、入力データを直接学習する場合と比較してサンプル複雑度が低減するか？
• RQ2 どのような最適化設定（例：2次テイラー近似 vs. NTK）においてニューラル表現が利点をもたらすか？
• RQ3 なぜ深さが学習効率を向上させるのか？中間表現はそのプロセスにどのように寄与するのか？
• RQ4 階層的表現が一般化性能を向上させる条件を理論的に特定できるか？

主な発見

• $d$次元空間におけるランクが低い次数$p$（$p \geq 4$）の多項式関数を学習する際、ニューラル表現によりサンプル複雑度が$\widetilde{O}(d^{\lceil p/2\rceil})$まで低減される。
• 一方、入力データを直接用いた学習の最良の既知のサンプル複雑度は$\widetilde{O}(d^{p-1})$であり、表現を用いることで顕著な改善が得られることが示された。
• NTK設定下ではこの利点が失われる。無限大の幅におけるNTK極限では、表現による改善が不可能であるため、利点は非NTKの最適化ダイナミクスに特有のものであることが示された。
• 2次テイラー近似モデルは、表現関数を通じてデータ内の高次相互作用を捉えることができ、これがより高いサンプル効率を実現している。
• 理論的境界により、$\epsilon$-精度の一般化を高確率で達成するために、表現次元$D$とネットワーク幅$m$を適切に選べることが示された。
• 分析により、表現の利点は近似能力に起因するのではなく、最適化パスの構造と一般化誤差の性質に起因することが明らかになった。