[論文レビュー] Approximation spaces of deep neural networks

Rémi Gribonval, Gitta Kutyniok+2 more|VBN Forskningsportal (Aalborg Universitet)|May 3, 2019

Model Reduction and Neural Networks参考文献 63被引用数 31

ひとこと要約

本稿では、深層ニューラルネットワークの近似空間を導入し、複雑度が増加するネットワークによって効率的に近似可能な関数のクラスを形式化する。これらの空間が適切なノルムのもとで（準）バナッハ空間としてwell-definedであることを確立し、スキップ接続が結果として得られる空間に影響を及ぼさないことを示し、ReLUベースのネットワークと古典的Besov空間との関係を示す。その結果、滑らかさが低いBesov空間に属する関数ですら、ネットワークが十分に深ければ良好に近似可能であることが明らかになった。

ABSTRACT

We study the expressivity of deep neural networks. Measuring a network's complexity by its number of connections or by its number of neurons, we consider the class of functions for which the error of best approximation with networks of a given complexity decays at a certain rate when increasing the complexity budget. Using results from classical approximation theory, we show that this class can be endowed with a (quasi)-norm that makes it a linear function space, called approximation space. We establish that allowing the networks to have certain types of "skip connections" does not change the resulting approximation spaces. We also discuss the role of the network's nonlinearity (also known as activation function) on the resulting spaces, as well as the role of depth. For the popular ReLU nonlinearity and its powers, we relate the newly constructed spaces to classical Besov spaces. The established embeddings highlight that some functions of very low Besov smoothness can nevertheless be well approximated by neural networks, if these networks are sufficiently deep.

研究の動機と目的

• 深層ニューラルネットワークの表現力の形式化を目的とし、最良近似誤差の減少率に基づく近似空間を定義する。
• これらの近似空間が適切なノルムのもとで、完備性と線形構造を持つwell-definedな（準）バナッハ関数空間を形成することを確立する。
• スキップ接続が結果として得られる近似空間の構造を変えるかどうかを調査する。
• 活性化関数（特にReLUおよびその累乗）が結果として得られる近似空間に与える影響を分析する。
• ネットワークの深さが、滑らかさが低い関数（例えば、低次のBesov空間に属する関数）の近似をどのように可能にするかを明確にする。

提案手法

• 近似空間を、ネットワークの複雑度（接続数またはニューロン数で測定）が増加するにつれて最良近似誤差が与えられたレートで減少する関数の集合として定義する。
• 古典的近似理論を用いて、近似空間に（準）ノルムを導入し、完備性と線形構造を保証する。
• 近似理論における直接的および逆の推定を用いて空間を特徴付け、埋め込み結果を証明する。
• ノルムの同値性を用いた議論により、スキップ接続の影響を分析し、結果として得られる近似空間が変化しないことを示す。
• ウェーブレットの特徴付けと区分的多項式近似を用いて、ReLUネットワークの近似空間と古典的Besov空間との関係を確立する。
• スケーリングの議論と局所化技術（例えば、バッファ関数やdyadic分解）を用いて、特定の状況で真の包含関係が成立することを示す反例を構成する。

実験結果

リサーチクエスチョン

• RQ1 増加する複雑度を持つ深層ニューラルネットワークで良好に近似可能な関数の集合に、自然な（準）ノルム関数空間構造を導入できるか？
• RQ2 スキップ接続は、深層ニューラルネットワークの結果として得られる近似空間にどのように影響を与えるか？
• RQ3 ReLUベースのネットワークの近似空間と、Besov空間のような古典的関数空間との関係は何か？
• RQ4 ネットワークの深さが、Besovノルムで測定された滑らかさが低い関数の近似をどの程度可能にするか？
• RQ5 活性化関数の選択（例えば、ReLUと他の非線形関数）が、根本的に近似空間を変えるのか？

主な発見

• 最良近似誤差が特定のレートで減少する関数のクラスは、適切な（準）ノルムのもとでwell-definedな（準）バナッハ空間を形成する。
• スキップ接続は結果として得られる近似空間を変えない。つまり、この空間はこのようなアーキテクチャ的変更に対して不変である。
• ReLUおよびその累乗について、近似空間は古典的Besov空間に埋め込まれる。滑らかさ指数が低い場合、その埋め込みは真の包含関係である。
• 非常に低いBesov滑らかさ（例：$ s < d/p $）を持つ関数ですら、ネットワークの深さが十分に大きい場合には、深層ReLUネットワークによって良好に近似可能である。
• ReLU活性化関数を用いた深層ネットワークの近似空間は、浅層ネットワークのそれよりも厳密に大きい。深さの利点が顕著に現れる。
• 特定の関数（例えば、局所化された振動関数）の近似誤差は、ネットワークの複雑度とともに多項式的に減少し、その減少レートはBesov空間への埋め込みによって正確に特徴付けられる。