[論文レビュー] Deep Learning and MARS: A Connection

Michael Köhler, Adam Krzyżak+1 more|arXiv (Cornell University)|Aug 29, 2019

Gaussian Processes and Bayesian Inference参考文献 40被引用数 12

ひとこと要約

本稿は、深層ニューラルネットワークと多次元適応回帰スプライン（MARS）の理論的関連を確立し、深層学習推定が対数要因を除いてオラクル最適な誤差率を達成することを示している。この手法により、潜在的な回帰関数が局所的に低次元である場合に有効な次元削減が可能となり、シミュレーションおよび実データにおいて従来の非パラメトリック手法を上回る性能を示している。

ABSTRACT

We consider least squares regression estimates using deep neural networks. We show that these estimates satisfy an oracle inequality, which implies that (up to a logarithmic factor) the error of these estimates is at least as small as the optimal possible error bound which one would expect for MARS in case that this procedure would work in the optimal way. As a result we show that our neural networks are able to achieve a dimensionality reduction in case that the regression function locally has low dimensionality. This assumption seems to be realistic in real-world applications, since selected high-dimensional data are often confined to locally-low-dimensional distributions. In our simulation study we provide numerical experiments to support our theoretical results and to compare our estimate with other conventional nonparametric regression estimates, especially with MARS. The use of our estimates is illustrated through a real data analysis.

研究の動機と目的

• 非パラメトリック回帰における深層ニューラルネットワークとMARSの理論的関連を確立すること。
• 深層学習推定が、対数要因を除いて理論的に最適なMARS性能と同等の誤差率を達成することを示すこと。
• 深層ニューラルネットワークが高次元データにおける局所的低次元構造をどの程度活用できるかを調査すること。
• シミュレーションおよび実データを用いて、提案された深層学習推定器を従来の非パラメトリック手法、特にMARSと比較すること。

提案手法

• 本稿は、未知の回帰関数を推定するため、深層ニューラルネットワークを用いた最小二乗回帰を定式化する。
• 深層学習推定器のためのオラクル不等式を導出し、そのリスクが対数要因を除いて最適なMARSリスクによって上限づけられることを示す。
• この手法は、回帰関数が局所的に低次元であるという仮定に依存しており、効果的な次元削減を可能にする。
• 理論的分析は、ニューラルネットワーク近似の性質を活用し、MARSの性能境界と結びつける。
• 理論的結果の妥当性を検証し、MARSおよび他の非パラメトリック推定器と比較するために、数値実験および実データ分析を実施する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、理論的に最適なMARS性能と同等の誤差率を達成できるか？
• RQ2 深層学習は、高次元データにおける局所的低次元構造をどの程度活用できるか？
• RQ3 有限標本設定下で、深層学習推定器はMARSおよび他の非パラメトリック手法と比べてどのように性能を示すか？
• RQ4 局所的次元制約下での回帰において、深層学習にどのような理論的保証を設定できるか？

主な発見

• 深層学習推定器はオラクル不等式を満たし、最適なMARS性能に対して対数要因を除いて誤差が悪化しないことを保証する。
• 回帰関数が局所的に低次元である場合に、この手法は効果的な次元削減を実現する。これは、現実のデータにおいて一般的に見られる性質である。
• シミュレーション結果は、深層学習推定器が、MARSを含む従来の非パラメトリック手法と比較して、さまざまな状況で優れた性能を示すか、同等の性能を達成することを確認している。
• 実データ分析により、提案された深層学習アプローチが回帰タスクにおいて実用的でかつ頑健であることが示された。