[論文レビュー] Optimal learning of high-dimensional classification problems using deep neural networks

Philipp Petersen, Felix Voigtlaender|arXiv (Cornell University)|Dec 23, 2021

Machine Learning and Algorithms被引用数 4

ひとこと要約

この論文は、深層ニューラルネットワークを用いた高次元二値分類における最小最大最適学習レートを確立し、意思決定境界がBarron正則である場合、一般化誤差が入力次元に依存しない速度で減少することを示している。著者らはBarronクラスの鋭いエントロピー評価を導出し、深層ReLUネットワーク上での経験的リスク最小化が最適レートに達することを証明した。これは、意思決定境界に正則性仮定が成り立つ場合、次元の呪いを効果的に克服できることを示している。

ABSTRACT

We study the problem of learning classification functions from noiseless training samples, under the assumption that the decision boundary is of a certain regularity. We establish universal lower bounds for this estimation problem, for general classes of continuous decision boundaries. For the class of locally Barron-regular decision boundaries, we find that the optimal estimation rates are essentially independent of the underlying dimension and can be realized by empirical risk minimization methods over a suitable class of deep neural networks. These results are based on novel estimates of the $L^1$ and $L^\infty$ entropies of the class of Barron-regular functions.

研究の動機と目的

• 高次元空間における滑らかな意思決定境界を持つ分類関数を学習するための最小最大下界を確立すること。
• 意思決定境界が局所的にBarron正則である場合の、分類問題における最適一般化誤差レートを特定すること。
• 深層ニューラルネットワークがこのような問題に対して最適レートを達成できるかどうかの理解のギャップを埋めること。
• 一般化バウンドに不可欠なBarronクラスの$L^1$および$L^∞$メトリックエントロピーの鋭い推定値を導出すること。
• 経験的リスク最小化が深層ReLUネットワーク上で最適レートを達成することを示すこと。これは環境次元に依存しない。

提案手法

• 著者らは、YangとBarronの既知の最小最大バウンドを活用できるように、分類推定問題を密度推定フレームワークに変換した。
• 意思決定境界クラスの$L^1$メトリックエントロピーに基づいて一般化された最小最大下界を導出し、レートが$\varepsilon^{-1/\alpha}$のスケーリングに依存することを示した。
• 本論文は、Barronクラスの$L^\infty$および$L^1$エントロピー数に対する、新しい鋭い上界と下界を確立した。両者は対数要因を除いて一致する。
• これらのエントロピー推定値を用いて、Barron正則意思決定境界の最適学習レートが$\alpha \in (0,1]$に対して$m^{-\alpha/(\alpha+1)}$であることを証明した。このレートは次元に依存しない。
• この方法では、深層ReLUネットワーク上での経験的リスク最小化を適用し、導出された最小最大下界に到達する推定器が得られることを示した。
• 分析は、括弧付きエントロピーと被覆数を含む、経験過程理論の高度な道具に依存しており、[24]の結果を分類設定に適応した。

実験結果

リサーチクエスチョン

• RQ1 滑らかな意思決定境界を持つ高次元分類関数を学習するための根本的最小最大下界は何か？
• RQ2 局所的にBarron正則な意思決定境界を持つ分類問題において、深層ニューラルネットワークは最適一般化レートに達成可能か？
• RQ3 Barronクラスのメトリックエントロピーは$L^1$および$L^\infty$ノルムでどのようにスケーリングされるか？これは学習レートにどのような意味を持つのか？
• RQ4 意思決定境界に正則性仮定が成り立つ場合、一般化誤差レートが入力次元$d$にどれほど依存しないか？
• RQ5 ノイズのない設定において、深層ReLUネットワーク上での経験的リスク最小化は最適レートに十分か？

主な発見

• $L^1$メトリックエントロピーが$\varepsilon^{-1/\alpha}$のスケーリングを示すクラスの意思決定境界を持つ分類関数を学習するための最小最大下界は、$L^2$誤差に対して$m^{-\alpha/(\alpha+1)}$であり、これは鋭いバウンドである。
• 局所的にBarron正則な意思決定境界のクラスに対して、最適学習レートは$m^{-\alpha/(\alpha+1)}$であり、環境次元$d$に依存しない。
• $L^1$メトリックエントロピーは$\varepsilon^{-1/\alpha}$のスケーリングを、対数要因を除いて示す。$L^\infty$エントロピーも同様にスケーリングされ、上界と下界は対数項を除いて一致する。
• 深層ReLUネットワーク上での経験的リスク最小化は、Barron正則関数に対して最適レート$m^{-\alpha/(\alpha+1)}$に到達し、深層ネットワークがこの設定で最小最大最適であることを証明した。
• 結果から、意思決定境界に十分な正則性（具体的にはBarron正則性）がある場合、次元の呪いは克服可能であることが示された。
• 分析により、ノイズのない設定においても、意思決定境界がBarron的になめらかであれば、一般化誤差は$m^{-1/2}$より速く減少することが確認された。