[論文レビュー] Optimal Rate of Convergence for Deep Neural Network Classifiers under the Teacher-Student Setting.

Tianyang Hu, Zuofeng Shang+1 more|arXiv (Cornell University)|Jan 19, 2020

Adversarial Robustness in Machine Learning参考文献 48被引用数 5

ひとこと要約

本稿は、ベイズ分類器がReLUネットワークとしてモデル化される教師-生徒フレームワークの下で、深層ニューラルネットワーク分類器の鋭い収束速度を確立する。0-1損失およびヒンジ損失に対して、$ ilde{O}_d(n^{-2/3})$ のミニマックス最適な収束速度を導出し、分離可能なデータでは$ ilde{O}_d(n^{-1})$ に改善される。次元性は収束速度の対数的要因にしか影響しない。

ABSTRACT

Classifiers built with neural networks handle large-scale high dimensional data, such as facial images from computer vision, extremely well while traditional statistical methods often fail miserably. In this paper, we attempt to understand this empirical success in high dimensional classification by deriving the convergence rates of excess risk. In particular, a teacher-student framework is proposed that assumes the Bayes classifier to be expressed as ReLU neural networks. In this setup, we obtain a sharp rate of convergence, i.e., $ ilde{O}_d(n^{-2/3})$, for classifiers trained using either 0-1 loss or hinge loss. This rate can be further improved to $ ilde{O}_d(n^{-1})$ when the data distribution is separable. Here, $n$ denotes the sample size. An interesting observation is that the data dimension only contributes to the $\log(n)$ term in the above rates. This may provide one theoretical explanation for the empirical successes of deep neural networks in high dimensional classification, particularly for structured data.

研究の動機と目的

• 高次元分類タスクにおける深層ニューラルネットワークの経験的成功を理論的に説明すること。
• 構造的生成モデルの下で、深層ニューラルネットワーク分類器の過剰リスクの収束速度を分析すること。
• 入力データの次元性が高次元設定における収束速度に与える影響を調査すること。
• 教師-生徒設定下で導出された収束速度のミニマックス最適性を確立すること。

提案手法

• 教師-生徒フレームワークを導入し、ベイズ分類器がReLU深層ニューラルネットワークであると仮定する。
• 有限サンプルで学習された生徒ネットワークに対して、0-1損失およびヒンジ損失の下で過剰リスクを分析する。
• ReLUネットワークの構造を活用して、過剰リスクの非漸近的上界を導出する。
• 次元性の影響を収束速度の対数的要因に限定し、次元に依存しない複雑度測度を用いる。
• 分離可能性仮定を導入して、有利なデータ分布下でのより速い収束速度を導出する。
• 上界の鋭さを確認するため、ミニマックス下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 ベイズルールがReLUネットワークである場合、深層ニューラルネットワーク分類器の最適収束速度は何か？
• RQ2 入力データの次元性は、深層ニューラルネットワーク分類器の収束速度にどのように影響するか？
• RQ3 データの分離可能性といったより強い仮定のもとで、より速い収束速度が達成可能か？
• RQ4 教師-生徒設定下で、導出された収束速度はミニマックス最適か？

主な発見

• 本稿は、0-1損失またはヒンジ損失で学習された深層ニューラルネットワーク分類器に対して、$\tilde{O}_d(n^{-2/3})$ の鋭い収束速度を確立する。
• 分離可能であるという仮定のもとでは、収束速度が$\tilde{O}_d(n^{-1})$ に改善され、有利な設定での高速な学習を示唆する。
• 次元$d$ の影響は、サンプルサイズ$n$ における対数的要因にしか及たないため、高次元性に対して頑健である。
• 導出された速度はミニマックス最適であり、同じ仮定のもとで、より速い速度を達成できる分類器は存在しないことを確認する。
• これらの結果は、高次元構造的データ分類における深層ネットワークの経験的成功の理論的基盤を提供する。