[論文レビュー] Deep Quantile Regression: Mitigating the Curse of Dimensionality Through Composition

Guohao Shen, Yuling Jiao+3 more|arXiv (Cornell University)|Jul 10, 2021

Neural Networks and Applications参考文献 63被引用数 10

ひとこと要約

本稿では、構成的構造を仮定するもとで、条件付き分位数関数をモデル化するための非パラメトリック分位数回帰手法として、ディープニューラルネットワークを用いたデュープ・クォンタイル回帰（DQR）を提案する。低次元の成分関数を活用することで、DQRは対数要因を除き最適な収束速度を達成し、次元の呪いを軽減する。誤差バウンドは、元来の指数的依存関係ではなく、環境次元に対して線形または二次的依存となる。

ABSTRACT

This paper considers the problem of nonparametric quantile regression under the assumption that the target conditional quantile function is a composition of a sequence of low-dimensional functions. We study the nonparametric quantile regression estimator using deep neural networks to approximate the target conditional quantile function. For convenience, we shall refer to such an estimator as a deep quantile regression (DQR) estimator. We show that the DQR estimator achieves the nonparametric optimal convergence rate up to a logarithmic factor determined by the intrinsic dimension of the underlying compositional structure of the conditional quantile function, not the ambient dimension of the predictor. Therefore, DQR is able to mitigate the curse of dimensionality under the assumption that the conditional quantile function has a compositional structure. To establish these results, we analyze the approximation error of a composite function by neural networks and show that the error rate only depends on the dimensions of the component functions. We apply our general results to several important statistical models often used in mitigating the curse of dimensionality, including the single index, the additive, the projection pursuit, the univariate composite, and the generalized hierarchical interaction models. We explicitly describe the prefactors in the error bounds in terms of the dimensionality of the data and show that the prefactors depends on the dimensionality linearly or quadratically in these models. We also conduct extensive numerical experiments to evaluate the effectiveness of DQR and demonstrate that it outperforms a kernel-based method for nonparametric quantile regression.

研究の動機と目的

• 条件付き分位数関数が構成的構造を持つものと仮定することで、非パラメトリック分位数回帰における次元の呪いを緩和すること。
• 環境予測子次元ではなく、関数の内因的次元に適応するディープニューラルネットワークベースの推定器（DQR）を開発すること。
• ネットワークの深さ、幅、および内因的次元に明示的な依存関係を持つ、非漸近的誤差バウンドを確立すること。
• DQRが非線形設定においてカーネルベース手法や従来の線形分位数回帰を上回ることを示すこと。

提案手法

• 効果的次元を低減するために、条件付き分位数関数を低次元関数の合成としてモデル化する。
• 深層ニューラルネットワークを用いて合成分位数関数を近似し、合成構造に適した近似能力を活用する。
• ニューラルネットワークによる合成関数の近似誤差を分析し、誤差率が成分関数の次元にのみ依存することを示す。
• DQRの非漸近的過剰リスクおよび平均二乗誤差バウンドを導出する。その係数は環境次元dに対して多項式的依存となる。
• 一般誤差バウンドを特定のモデルに適用する：単一インデックス、加法的、プロジェクション・ピュアリング、一変量合成、一般化階層的相互作用モデル。
• 誤差バウンドの係数をdに関して線形または二次的と明示的に特定し、古典的手法で見られる指数的依存を回避する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、低次元関数の合成である条件付き分位数関数を効果的に近似できるか？
• RQ2 真の分位数関数が構成的構造を持つ場合、ディープ・クォンタイル回帰推定器は最適な収束速度を達成するか？
• RQ3 DQRの誤差バウンドは、ネットワークアーキテクチャ（深さ、幅）および構成的構造の内因的次元にどのように依存するか？
• RQ4 DQRは、古典的手法と比較して次元の呪いを顕著に軽減できるか？
• RQ5 代表的な半パラメトリックモデル（単一インデックス、加法的、プロジェクション・ピュアリング、一変量合成、一般化階層的相互作用）において、誤差バウンドの係数の明示的形は何か？

主な発見

• DQR推定器は、対数要因を除き非パラメトリック最適な収束速度を達成し、そのレートは環境次元ではなく、構成的構造の内因的次元に依存する。
• 合成関数のニューラルネットワークによる近似誤差は、成分関数の次元にのみ依存し、全体の入力次元には依存しない。
• DQRの誤差バウンドの係数は、環境次元dに対して線形または二次的依存であり、古典的手法で見られる指数的依存を回避する。
• 数値実験では、DQRは非線形分位数関数のフィッティングにおいて、カーネルベース非パラメトリック分位数回帰および線形分位数回帰を上回る性能を示す。
• 単一インデックス、加法的、プロジェクション・ピュアリング、一変量合成、一般化階層的相互作用モデルの5つの重要なモデルについて、明示的な誤差バウンドが導出され、dに対して多項式的依存が示された。
• 結果は、深層ニューラルネットワークが、構成的構造仮定のもとで、非パラメトリック分位数回帰における次元の呪いを効果的に軽減できることを示している。