[論文レビュー] ReLU nets adapt to intrinsic dimensionality beyond the target domain.

Alexander Cloninger, Timo Klock|arXiv (Cornell University)|Aug 6, 2020

Domain Adaptation and Few-Shot Learning参考文献 78被引用数 10

ひとこと要約

この論文は、2層のReLUネットワークが、幾何的に直感的な写像によって入力次元を低減する$ text{\phi}$を介して$f(x) = g(\phi(x))$という構成的関数を効率的に近似できることを示している。ネットワークはデータの内在次元に適応し、ターゲット関数の複雑さに依存する近似的に最適なレートを達成する。これにより、回帰および分類における効率的な学習が可能になる。

ABSTRACT

We study the approximation of two-layer compositions $f(x) = g(\phi(x))$ via deep ReLU networks, where $\phi$ is a nonlinear, geometrically intuitive, and dimensionality reducing feature map. We focus on two complementary choices for $\phi$ that are intuitive and frequently appearing in the statistical literature. The resulting approximation rates are near optimal and show adaptivity to intrinsic notions of complexity, which significantly extend a series of recent works on approximating targets over low-dimensional manifolds. Specifically, we show that ReLU nets can express functions, which are invariant to the input up to an orthogonal projection onto a low-dimensional manifold, with the same efficiency as if the target domain would be the manifold itself. This implies approximation via ReLU nets is faithful to an intrinsic dimensionality governed by the target $f$ itself, rather than the dimensionality of the approximation domain. As an application of our approximation bounds, we study empirical risk minimization over a space of sparsely constrained ReLU nets under the assumption that the conditional expectation satisfies one of the proposed models. We show near-optimal estimation guarantees in regression and classifications problems, for which, to the best of our knowledge, no efficient estimator has been developed so far.

研究の動機と目的

• ReLUネットワークが、$ \phi$が次元を低減する写像であるような構成的関数$f(x) = g(\phi(x))$をどのように近似するかを理解すること。
• ターゲット関数が低次元多様体への直交射影に関して不変である場合の近似効率を分析すること。
• ReLUネットワークが入力の埋め込み次元ではなく、ターゲット関数の内在的複雑さに適応することを確立すること。
• 回帰および分類におけるスパースに制約けんReLUネットワーク上での経験的リスク最小化の推定保証を導出すること。

提案手法

• 著者たちは、$ \phi$が次元を低減する幾何的に直感的な特徴写像である$f(x) = g(\phi(x))$を近似する2層ReLUネットワークを分析している。
• 統計的モデリングでよく使われ、幾何的に直感的な解釈を持つ$ \phi$の2つの具体的な選択肢を検討している。
• この手法は、$ \phi$が定義する多様体の内在次元に依存する近似レートを確立している。入力の埋め込み次元ではなく、多様体の内在次元に依存する。
• ReLUネットワークの性質を活用して、低次元多様体への直交射影に関して不変な関数に対する近似的に最適な近似誤差の上限を達成している。
• 条件付き期待値モデルの下で、スパースに制約けんReLUネットワーク上での経験的リスク最小化にフレームワークを適用し、理論的保証を与えた。

実験結果

リサーチクエスチョン

• RQ1 ReLUネットワークは、低次元多様体への直交射影に関して不変な関数に対して、効率的な近似を達成できるか？
• RQ2 ReLUネットワークは、入力の埋め込み次元ではなく、ターゲット関数の内在次元にどれほど適応するか？
• RQ3 幾何的に直感的な$ \phi$を用いた構成的関数$f(x) = g(\phi(x))$に対して、どの程度の近似レートが達成可能か？
• RQ4 提案されたモデルの下で、スパースに制約けんReLUネットワークを用いて回帰および分類において近似的に最適な推定が達成できるか？

主な発見

• $ \phi$が低次元多様体に写像する場合、ReLUネットワークは、入力の埋め込み次元に依存せず、関数$f(x) = g(\phi(x))$に対して近似的に最適な近似レートを達成する。
• 近似効率は、入力ドメインの次元ではなく、ターゲット関数の内在的複雑さに依存する。
• ネットワークは、ターゲット$f$が支配する内在次元に忠実に適応し、高次元入力空間においても効率的な学習を可能にする。
• スパースに制約けんReLUネットワーク上での経験的リスク最小化は、回帰および分類問題において近似的に最適な推定保証をもたらす。