[論文レビュー] Optimal Nonparametric Inference via Deep Neural Network

Ruiqi Liu, Ben Boukai+1 more|arXiv (Cornell University)|Feb 5, 2019

Statistical Methods and Inference参考文献 29被引用数 7

ひとこと要約

この論文は、従来の文脈で見られる非最適な対数因子を含まずに、深層ニューラルネットワークが最小最大最適な非パラメトリック推定を達成できることを確立している。テンソル積Bスplineに基づくネットワーク推定量を構築することで、著者らは$L^2$最小最大リスクが対数因子なしで最適レート$n^{-2\beta/(2\beta+d)}$に達することを証明し、さらに漸近的に有効な信頼区間と最小最大最適な仮説検定手順を導出している。

ABSTRACT

Deep neural network is a state-of-art method in modern science and technology. Much statistical literature have been devoted to understanding its performance in nonparametric estimation, whereas the results are suboptimal due to a redundant logarithmic sacrifice. In this paper, we show that such log-factors are not necessary. We derive upper bounds for the $L^2$ minimax risk in nonparametric estimation. Sufficient conditions on network architectures are provided such that the upper bounds become optimal (without log-sacrifice). Our proof relies on an explicitly constructed network estimator based on tensor product B-splines. We also derive asymptotic distributions for the constructed network and a relating hypothesis testing procedure. The testing procedure is further proven as minimax optimal under suitable network architectures.

研究の動機と目的

• 深層ニューラルネットワークのリスクバウンドにおける余分な対数因子を除去することで、非パラメトリック推定理論におけるギャップを埋めること。
• テンソル積Bスplineに基づく深層ニューラルネットワーク推定量を構築し、最適な最小最大$L^2$リスクレートを達成すること。
• 点推定のための構築されたネットワーク推定量の漸近的分布を導出すること。
• ネットワーク推定量に基づく最小最大最適な仮説検定手順を開発すること。
• 加法的構造がある場合の改善されたレートを示し、$f_0$が加法的であるとき$n^{-2\beta/(2\beta+1)}$を達成すること。

提案手法

• 近似のための基底としてテンソル積Bスplineを用いた深層ニューラルネットワーク推定量を構築する。
• テンソル積Bスplineが、幅と深さを制御可能な深層ReLUネットワークで効率的に表現可能であることを証明する。
• 確率的設計下での近似誤差と推定誤差を分析することで、$L^2$最小最大リスクの上界を導出する。
• 2段階推定戦略を採用：まずBスpline係数を推定し、その後それらを深層ネットワーク構造にマッピングする。
• 集中不等式とエントロピーの議論を用いて確率的誤差を制御し、明示的な構築によって対数因子を回避する。
• 正則性条件の下で、ネットワーク推定量の漸近正規性を導出し、信頼区間の構築を可能にする。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、対数因子を含まずに最小最大最適な非パラメトリック推定レートを達成できるか？
• RQ2 テンソル積Bスplineに基づく深層ネットワーク推定量は、最適な$L^2$最小最大リスクレート$n^{-2\beta/(2\beta+d)}$を達成できるか？
• RQ3 構築されたネットワーク推定量は、点推定のための有効な漸近的分布を有するか？
• RQ4 ネットワーク推定量は、最小最大最適性を満たす非パラメトリック検定の検定統計量として使用可能か？
• RQ5 回帰関数に加法的構造がある場合の最適レートは何か？

主な発見

• $L^2$最小最大リスクが、対数因子なしで最適レート$n^{-2\beta/(2\beta+d)}$に達することを示し、過去の研究における長年の非最適性を解消した。
• テンソル積Bスplineに基づく構築されたネットワーク推定量は最小最大最適であり、理論的下界と定数因子の違いを除いてリスクバウンドが一致する。
• ネットワーク推定量の漸近的分布が導出され、有効な点推定の信頼区間の構築が可能になった。
• 適切なネットワークアーキテクチャの選択のもとで、ネットワーク推定量に基づく仮説検定手順が最小最大最適であることが証明された。
• $f_0$が加法的（一変量$ \beta$-ホルダー関数の和）である場合、レートは$n^{-2\beta/(2\beta+1)}$に向上し、これはストーン（1985）が示した最小最大下界と一致する。
• 証明により、テンソル積Bスplineが深さ$O(\log n)$、幅が$n$の多項式で表現可能な深層ReLUネットワークで正確に表現可能であることが示された。