[論文レビュー] A priori estimates for classification problems using neural networks

E Weinan, Stephan Wojtowytsch|arXiv (Cornell University)|Sep 28, 2020

Neural Networks and Applications参考文献 13被引用数 6

ひとこと要約

本稿では、回帰におけるパスノルムに類似した分類複雑度測度を導入することで、2層ニューラルネットワークを用いたバイナリおよびマルチクラス分類の事前誤差推定を確立する。Rademacher複雑度とBarron空間における直接近似定理を用いて、交差エントロピーなど指数的尾部を持つ損失関数（マージン正則化を誘発）を含む、さまざまな損失関数を考慮した一般化境界を導出する。

ABSTRACT

We consider binary and multi-class classification problems using hypothesis classes of neural networks. For a given hypothesis class, we use Rademacher complexity estimates and direct approximation theorems to obtain a priori error estimates for regularized loss functionals.

研究の動機と目的

• 回帰における事前誤差推定フレームワークをニューラルネットワークを用いた分類問題へ拡張すること。
• 二乗損失、ヒンジ損失、交差エントロピー損失を含む、さまざまな損失関数下でのニューラルネットワークの一般化性能を分析すること。
• クラスを分離する際の固有の難易度を捉えるために、回帰におけるパスノルムに類似した役割を果たす分類複雑度測度を導入すること。
• データ分布、ネットワーク幅、損失タイプに依存する明示的な一般化境界を導出し、特に非一意な最小化子および指数的尾部を持つ損失に対して有効な解析を提供すること。
• クラスサポートが空間的に分離されていない状況やマルチラベル分類設定への分析の拡張。

提案手法

• 有界なパスノルムを持つ2層ニューラルネットワークのRademacher複雑度推定を用いて、一般化誤差を制御する。
• 有限幅ネットワークの近似誤差を制限するために、Barron関数の直接近似定理を適用する。
• クラスを分離するために必要な最小パスノルムに基づく分類複雑度測度を導入し、回帰におけるパスノルムの代替として用いる。
• 3種類の損失関数を分析：二乗損失（離散的ターゲット付き）、片側L2/L1損失（ヒンジ型）、交差エントロピー損失（指数的尾部付き）。各損失は異なる最小化子および正則化特性を有する。
• 近似誤差と一般化誤差の項を組み合わせるエネルギー競合者によるアプローチにより、事前境界を導出する。
• 過学習を制御し、一般化保証を導出するために、パスノルムペナルティを含む正則化された経験的リスク関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 回帰における事前誤差推定フレームワークを、異なる損失関数を有する分類問題にどのように拡張できるか？
• RQ2 分類におけるパスノルムの役割は何か？ また、クラス分離のための複雑度測度として、どのように再定義できるか？
• RQ3 二乗損失、ヒンジ損失、交差エントロピー損失といった異なる損失関数は、分類における一般化誤差および最小化子の構造にどのように影響を与えるか？
• RQ4 指数的尾部を持つ損失（例：交差エントロピー）は、特にマージン最大化および暗黙の正則化の観点から、事前誤差境界にどのような影響を与えるか？
• RQ5 近似率 α が小さい場合、過パラメータ化領域における導出された境界はどのように振る舞うか？

主な発見

• 近似誤差の事前誤差境界は、Barron空間におけるターゲット関数の近似率 α に対して、(max{1,R}²/m)^{α/(2+α)} のオーダーで得られる。
• 一般化誤差の境界は、√(log(2d+2)/n) および √(log(1/δ)/n) に比例し、仮説クラスの複雑さと信頼水準を反映している。
• 最終的な事前推定は、近似誤差と一般化誤差を組み合わせており、最適なハイパーパrameterチューニング下では、m^{-α/(2+α)} に比例する項で有界になる。
• α → 0 に近づくと境界が意味を失うため、近似率が遅いと一般化保証が弱くなることが示唆される。
• α が小さすぎる場合、m^{2/(2+α)} n^{-1/2} 項は過パラメータ化領域でも消えないため、幅とサンプルサイズのトレードオフが生じる可能性がある。
• 解析により、交差エントロピー損失が暗黙のマージン正則化を誘発することが示され、すべてのクラスにわたる高信頼度予測を促進する。これは誤差推定における対数因子に反映されている。