[論文レビュー] Quantile regression with deep ReLU Networks: Estimators and minimax rates

Oscar Hernán Madrid Padilla, Wesley Tansey+1 more|arXiv (Cornell University)|Oct 16, 2020

Statistical Methods and Inference参考文献 56被引用数 7

ひとこと要約

この論文は、深層ReLUニューラルネットワークを用いた分位数回帰について理論的保証を確立し、最小最大最適レートを達成することを示している。最小仮定のもとで、条件付き分位数を推定する際、ネットワークの深さ、幅、近似誤差に依存する推定誤差の上界を導出し、ホルダー合成関数およびベソフ空間クラスの関数に対しても最適性を証明している。さらに、誤差分布が重たい尾を持つ場合でも成り立つ。

ABSTRACT

Quantile regression is the task of estimating a specified percentile response, such as the median, from a collection of known covariates. We study quantile regression with rectified linear unit (ReLU) neural networks as the chosen model class. We derive an upper bound on the expected mean squared error of a ReLU network used to estimate any quantile conditional on a set of covariates. This upper bound only depends on the best possible approximation error, the number of layers in the network, and the number of nodes per layer. We further show upper bounds that are tight for two large classes of functions: compositions of Hölder functions and members of a Besov space. These tight bounds imply ReLU networks with quantile regression achieve minimax rates for broad collections of function types. Unlike existing work, the theoretical results hold under minimal assumptions and apply to general error distributions, including heavy-tailed distributions. Empirical simulations on a suite of synthetic response functions demonstrate the theoretical results translate to practical implementations of ReLU networks. Overall, the theoretical and empirical results provide insight into the strong performance of ReLU neural networks for quantile regression across a broad range of function classes and error distributions. All code for this paper is publicly available at https://github.com/tansey/quantile-regression.

研究の動機と目的

• 従来の研究が統計的保証を欠いていた中で、分位数回帰における深層ReLUネットワークの理論的基盤を提供すること。
• 任意の分位数関数に対して、ReLUネットワーク推定器の期待平均二乗誤差の上界を確立すること。
• ホルダー関数の合成やベソフ空間を含む広範な関数クラスに対して、ReLUネットワークが最小最大最適レートを達成することを示すこと。
• 分布的仮定を最小限に抑えること、特に重たい尾を持つ誤差分布に対しても理論的結果が成り立つようにすること。
• 平均回帰からの最小最大結果を分位数回帰へ拡張することで、非パラメトリック推定理論とディープラーニングを橋渡しすること。

提案手法

• 条件付き分位数関数のReLUネットワーク推定器の期待平均二乗誤差に対して上界を導出し、最良近似誤差、ネットワークの深さ $L$、幅 $U$ に依存する形で表す。
• 一般化誤差を制御するために、ラデマッハ複雑度およびメトリックエントロピー技術を用い、ReLUネットワーク関数クラスの被覆数を用いる。
• シュミット＝ハイベルガー（2017）の神経ネットワーク被覆数に関する結果を応用し、関数クラス上のラデマッハ過程の期待上界を評価する。
• ベソフ空間 $B^{s}_{p,q}([0,1]^d)$ に属する関数で $s > d/p$ を満たす場合、最小最大レート $n^{-2s/(2s+d)}$ がReLUネットワークによって達成可能であることを示す。
• ホルダー関数の合成に対しては、スパースReLUネットワークが二乗誤差損失のもとで最小最大レートを達成できることを証明する。
• チェーン法とエントロピー積分の上限を用いて、経験的リスク最小化推定器と真の分位数関数との乖離を制御する。

実験結果

リサーチクエスチョン

• RQ1 誤差分布に対する仮定を弱くした場合でも、深層ReLUネットワークは分位数回帰において最小最大最適レートを達成できるか？
• RQ2 ReLUネットワーク推定器の一般化誤差の上界は何か？ また、ネットワークの深さや幅にどのように依存するか？
• RQ3 非滑らかまたは不規則な関数クラス（例：ベソフ空間）に対しても、ReLUネットワークは最小最大レートを達成できるか？
• RQ4 誤差分布が重たい尾を持つ場合でも、ReLUネットワークを用いた分位数回帰に対して理論的保証を確立できるか？
• RQ5 ReLUネットワークの近似誤差と、分位数回帰における統計的推定誤差の関係は何か？

主な発見

• ReLUネットワーク分位数回帰推定器の期待平均二乗誤差は、最良近似誤差、ネットワークの深さ $L$、幅 $U$ に依存する項によって上界で抑えられ、誤差の分布的仮定は一切不要である。
• ホルダー関数の合成に属する関数に対しては、スパースReLUネットワークアーキテクチャが存在し、その結果得られる分位数回帰推定器は二乗誤差損失のもとで最小最大最適レートを達成する。
• ベソフ空間 $B^{s}_{p,q}([0,1]^d)$ に属する関数で $s > d/p$ を満たす場合、最小最大レート $n^{-2s/(2s+d)}$ が、ややきつい条件のもとでReLUネットワークによって達成可能である。
• 理論的結果は任意の誤差分布（重たい尾を持つものも含む）に対して成り立つため、外れ値や重たい尾のノイズに対してロバストである。
• 合成データ上の実験的シミュレーションにより、理論的誤差上限が実際の性能に反映されることを確認し、理論的結果の妥当性を裏付けた。
• 推定誤差の上界は $\tilde{O}(\sqrt{F \epsilon_n \log n [\log L + L \log n]})$ とスケーリングされ、ここで $\epsilon_n$ は近似誤差を表し、$F$ はネットワーク容量パラメータである。