[論文レビュー] Kolmogorov Width Decay and Poor Approximators in Machine Learning: Shallow Neural Networks, Random Feature Models and Neural Tangent Kernels

E Weinan, Stephan Wojtowytsch|arXiv (Cornell University)|May 21, 2020

Neural Networks and Applications参考文献 25被引用数 6

ひとこと要約

本稿は、コルモゴロフ幅の減衰と機械学習における近似限界を結びつける理論的枠組みを確立し、浅いニューラルネットワークおよびランダム特徴モデルが $L^2$-ノルムにおいて高次元のリプシッツ関数を劣悪に近似することを示している。再生核ヒルバート空間（RKHS）および無限に広いニューラルネットワークは、コルモゴロフ幅の減衰が遅いため次元の呪いに見舞われることを証明している一方、バロン空間（2層ネットワークに関連）は、同じ条件下で著しく優れた近似レートを提供する。

ABSTRACT

We establish a scale separation of Kolmogorov width type between subspaces of a given Banach space under the condition that a sequence of linear maps converges much faster on one of the subspaces. The general technique is then applied to show that reproducing kernel Hilbert spaces are poor $L^2$-approximators for the class of two-layer neural networks in high dimension, and that multi-layer networks with small path norm are poor approximators for certain Lipschitz functions, also in the $L^2$-topology.

研究の動機と目的

• 高次元空間における機械学習モデルの近似能力に内在する根本的制限を特定すること。
• 理論的表現力があるにもかかわらず、ランダム特徴モデルおよび無限に広いニューラルネットワークがリプシッツ関数に対してなぜ劣悪に機能するのかを説明すること。
• コルモゴロフ幅の減衰に基づく一般抽象的枠組みを構築し、関数空間間の近似レートを比較すること。
• 2層ネットワークに関連するバロン空間および深層ネットワークに関連する木構造関数空間が、RKHSおよびリプシッツ空間よりも高次元 $L^2$-近似において優れていることを示すこと。

提案手法

• バナッハ空間の2つの部分空間における線形作用素の収束レートがコルモゴロフ幅の減衰レートとどのように関連するかを結びつける抽象的補題を構築する。
• 補題を用いて、バロン空間（2層ネットワーク）とリプシッツ空間、およびRKHSとバロン空間の間の近似を比較する。
• モンテカルロ型積分作用素を用いてバロン空間およびリプシッツ空間における収束を分析し、バロン空間でより速い減衰を示す。
• RKHSカーネルの固有空間への射影を用いて、RKHSとバロン空間における収束を比較し、RKHSでは遅い減衰が生じることを明らかにする。
• 作用素ノルムの差を用いてコルモゴロフ幅の減衰に対する定量的下界を導出する：$\|A_n - A\|_{L(X,W)} \leq C_X n^{-\alpha}$ および $\|A_n - A\|_{L(Y,W)} \geq c_Y n^{-\beta}$ で $\beta < \alpha$。
• 幅の減衰レート $\rho(t) \gtrsim t^{-\beta/(α - \beta)}$ が成り立つことを示し、減衰が遅いと近似が劣悪であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 なぜランダム特徴モデルおよび無限に広いニューラルネットワークは、$L^2$ において高次元のリプシッツ関数を効率的に近似できないのか？
• RQ2 RKHSがバロン空間と比較して高次元で劣悪な近似性能を示す根本的要因は何か？
• RQ3 異なる関数空間間の近似ギャップを説明する一般理論的枠組みは、機械学習モデルにおいて可能か？
• RQ4 異なる部分空間における線形作用素の収束レートは、コルモゴロフ幅の減衰および近似品質とどのように関係するか？

主な発見

• 再生核ヒルバート空間（RKHS）は、2層ニューラルネットワークが高次元で $L^2$-近似に劣悪である。コルモゴロフ幅は $t^{-\beta/(α - \beta)}$ の速度でゆっくり減衰する。
• 無限に広いランダム特徴モデルおよびニューラルタングエント・カーネル（NTK）は、$L^2([0,1]^d)$ において一般のリプシッツ関数を近似する際、次元の呪いに見舞われる。
• 本稿は、コルモゴロフ幅の減衰に対する一般的下界を証明する：$\rho(t) \geq C \cdot t^{-\beta/(α - \beta)}$（$t \geq c_Y/(2C_X)$）で、$\beta < \alpha$。
• バロンノルムが有界な2層ネットワークは、RKHSよりも著しく速い減衰レートで $L^2$ で関数を近似でき、優れた近似能力を示す。
• パスノルムが小さい多層ネットワークも、高次元においてリプシッツ関数を劣悪に近似する。これは次元の呪いを確認する。
• ニューラルタングエント・カーネル（NTK）およびランダム特徴カーネルは、同等の固有値の減衰レートを示し、高次元における類似した近似制限を有することが示唆される。