[論文レビュー] Neural network approximation and estimation of classifiers with classification boundary in a Barron class

Andrei Caragea, Philipp Petersen+1 more|arXiv (Cornell University)|Nov 18, 2020

Brain Tumor Detection and Classification被引用数 7

ひとこと要約

この論文は、決定境界がバロン型空間に属する二値分類タスクにおいて、ReLUニューラルネットワークの近似誤差および推定誤差の境界を確立する。滑らかさの弱い条件のもとで、ニューラルネットワークは次元の呪いを克服でき、入力次元に依存しない誤差率（多項式要因を除いて）を達成する。有限の訓練サンプルを用いた経験的リスク最小化による明示的な一般化保証が得られる。

ABSTRACT

We prove bounds for the approximation and estimation of certain binary classification functions using ReLU neural networks. Our estimation bounds provide a priori performance guarantees for empirical risk minimization using networks of a suitable size, depending on the number of training samples available. The obtained approximation and estimation rates are independent of the dimension of the input, showing that the curse of dimensionality can be overcome in this setting; in fact, the input dimension only enters in the form of a polynomial factor. Regarding the regularity of the target classification function, we assume the interfaces between the different classes to be locally of Barron-type. We complement our results by studying the relations between various Barron-type spaces that have been proposed in the literature. These spaces differ substantially more from each other than the current literature suggests.

研究の動機と目的

• 機械学習における高次元分類の課題に取り組み、従来の手法が次元の呪いに苦しむことの原因を特定する。
• 滑らかでない複雑な決定境界を持つ分類関数を近似・推定するReLUニューラルネットワークの理論的保証を開発する。
• 訓練サンプル数に対して適切なサイズのニューラルネットワークを用いた経験的リスク最小化の事前性能境界を提供する。
• 分類境界が局所的にバロン型正則性を示す場合、次元の呪いを克服できることを確立する。
• 文献で用いられているさまざまなバロン型関数空間を明確にし、それらの顕著な相違点を比較する。

提案手法

• 分類関数を互いに素な領域上の指示関数の和として定義し、境界が局所的にバロン型正則性を有すると仮定する。
• 一様ノルムやL^pノルムではなく、真の集合と近似された集合の対称差の測度を用いて近似誤差を測定する。
• 積測度を一般化する「チューブに適合する測度クラス」を導入し、境界付近での測度の減少率がε^α（α ∈ (0,1]）となるように保証する。
• しきい値関数 (Ig,λ) のVC次元に基づく新しい複雑度測度を用いて、経験過程の乖離を制限する。
• 全 Variation および分布的微積分の技法を用いて、関数の正則性と近似誤差境界との関係を確立する。
• 振動関数を用いた反例により、特定の誤差率が成り立つためにはα ≥ 2である必要があることを示し、下界を確立する。

実験結果

リサーチクエスチョン

• RQ1 ReLUニューラルネットワークは、分類問題において入力次元に依存しない近似誤差および推定誤差境界をどのように達成できるか？
• RQ2 分類境界にどのような正則性条件が課されると、次元の呪いが回避されるか？
• RQ3 文献で提案されたさまざまなバロン型関数空間どうしがどのように関係し合い、その主な相違点は何か？
• RQ4 このような分類器における経験的リスク最小化において、ネットワークサイズと一般化誤差の最適なトレードオフは何か？
• RQ5 近似誤差は境界関数の全 Variation で上界を示せるか？その一般化へのインパクトは何か？

主な発見

• ReLUニューラルネットワークによる二値分類の近似誤差および推定誤差は、入力次元dに依存せず、dの多項式要因を除いて成立する。
• チューブに適合する測度およびバロン型境界正則性のもとで、サイズNのニューラルネットワークを用いた経験的リスク最小化は、推定誤差がO(N^{-1/2})のオーダーで達成される。
• 分類境界がバロンの意味で有界 Variation を持つ場合でさえ、すなわち不連続な分類器に対しても、次元の呪いは克服可能である。
• 下界の結果から、チューブに適合する測度における正則性パラメータαは、特定の誤差率が成り立つためにはα ≥ 2でなければならないことが示され、従来の仮定よりも強い滑らかさ要件が求められることが示唆される。
• 文献で用いられているさまざまなバロン型空間は、定義や性質において顕著に異なるため、理論的解析においてその区別が極めて重要である。
• しきい値関数のVC次元を用いた新しい経験過程一般化境界を提供し、高確率境界に一般的に見られる対数因子を回避する。