[論文レビュー] Sharp Rate of Convergence for Deep Neural Network Classifiers under the Teacher-Student Setting

Tianyang Hu, Zuofeng Shang+1 more|arXiv (Cornell University)|Jan 19, 2020

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

この論文は、教師-生徒フレームワーク下で、ベイズ分類器がReLUネットワークである場合の深層ニューラルネットワーク分類器の鋭い収束速度 $ olimits ext{d}(n^{-2/3})$ を確立している。解析により、データ次元 $d$ が収束速度に与える影響は対数的であることが示され、次元の悪夢にかかわらず深層学習が高次元分類で成功を収める理論的裏付けが得られる。

ABSTRACT

Classifiers built with neural networks handle large-scale high dimensional data, such as facial images from computer vision, extremely well while traditional statistical methods often fail miserably. In this paper, we attempt to understand this empirical success in high dimensional classification by deriving the convergence rates of excess risk. In particular, a teacher-student framework is proposed that assumes the Bayes classifier to be expressed as ReLU neural networks. In this setup, we obtain a sharp rate of convergence, i.e., $ ilde{O}_d(n^{-2/3})$, for classifiers trained using either 0-1 loss or hinge loss. This rate can be further improved to $ ilde{O}_d(n^{-1})$ when the data distribution is separable. Here, $n$ denotes the sample size. An interesting observation is that the data dimension only contributes to the $\log(n)$ term in the above rates. This may provide one theoretical explanation for the empirical successes of deep neural networks in high dimensional classification, particularly for structured data.

研究の動機と目的

• 高次元分類、特に画像データにおける深層ニューラルネットワークの経験的成功を理論的に説明すること。
• 従来の滑らかさの仮定が失敗する非パラメトリック設定下で、深層学習分類器の統計的理解のギャップを埋めること。
• 最適な意思決定境界がReLUニューラルネットワークである教師-生徒フレームワークにおいて、過剰リスクの収束速度を分析すること。
• 古典的非パラメトリック手法とは異なり、深層ネットワークが次元の悪夢を克服できるかどうかを検討すること。
• 滑らかさの仮定に依存しない分類への既存の回帰ベースの収束結果を、構造的意思決定境界の下で0-1損失およびヒンジ損失に拡張すること。

提案手法

• ベイズ分類器をReLU深層ニューラルネットワークとしてモデル化し、生徒ネットワークがそれを近似する教師-生徒フレームワークを提案する。
• この設定下で、0-1損失およびヒンジ損失の経験的最小化器の過剰リスクを、非漸近的リスク分解を用いて分析する。
• 生徒ネットワークの関数クラスのカバー数を用いた一般化境界を適用し、深層ReLUネットワークのsup-normエントロピーを活用する。
• Tsybakovノイズ条件を用いて過剰リスクと $\phi$-リスクを関連付け、弱い滑らかさの仮定下でも鋭いレート解析を可能にする。
• 一般過剰リスク境界補題の条件（近似誤差、ノイズ条件、複雑さの制御）を満たすことで収束速度を確立する。
• 近似誤差、推定誤差、ネットワークの複雑さのバランスを取ることで、$d$ が対数的要因としてのみ関与するレート $ olimits ext{d}(n^{-2/3})$ を導出する。

実験結果

リサーチクエスチョン

• RQ1 古典的非パラメトリック手法が失敗する高次元分類において、深層ニューラルネットワーク分類器は高速な収束速度を達成できるか？
• RQ2 ベイズ分類器がReLUネットワークである教師-生徒設定における過剰リスクの鋭い収束速度は何か？
• RQ3 データ次元 $d$ は収束速度にどのように影響するか？この設定では次元の悪夢を軽減できるか？
• RQ4 分離可能なデータ分布下では収束速度が改善するか？もしそうなら、どの程度改善するか？
• RQ5 滑らかさの仮定に依存しない分類における深層ネットワークの理論的解析を、特に滑らかでない意思決定境界に対して拡張できるか？

主な発見

• 教師-生徒フレームワーク下で、経験的0-1損失最小化器の過剰リスクは、ReLUネットワークを仮定した下で鋭いレート $ olimits ext{d}(n^{-2/3})$ で収束する。
• データ分布が分離可能な場合、収束速度は $ olimits ext{d}(n^{-1})$ に改善され、有利なデータ条件の下でより速い学習が可能であることが示唆される。
• データ次元 $d$ は収束速度にのみ対数的要因として寄与するため、深層ネットワークが次元の悪夢を効果的に軽減できることを示唆している。
• Tsybakovノイズ条件および有界なネットワーク重みといった弱い仮定のもとで解析が成立し、実世界のデータ構造に対しても頑健である。
• 与えられた仮定下ではレート $ olimits ext{d}(n^{-2/3})$ は改善不能であり、この設定における鋭い境界であることが確立された。
• これらの結果は、データ次元が大きくても一般化性能が保たれる高次元画像分類において深層学習が経験的に成功する背後にある理論的基盤を提供する。