[論文レビュー] Deep, Skinny Neural Networks are not Universal Approximators

Jesse Johnson|arXiv (Cornell University)|Sep 30, 2018

Neural Networks and Applications被引用数 6

ひとこと要約

この論文は、すべての隠れ層の幅が入力次元以下に制限される深く細長いニューラルネットワーク—つまり、入力空間内でレベル集合が有界である関数を近似できないことを証明している。トポロジー的議論を通じて、このようなネットワークは、深さにかかわらず、レベル集合が無限に拡がる関数に限定されることが示され、これは円形の意思決定境界のようなコンパクトに構造化されたデータをモデル化する能力を制限する。

ABSTRACT

In order to choose a neural network architecture that will be effective for a particular modeling problem, one must understand the limitations imposed by each of the potential options. These limitations are typically described in terms of information theoretic bounds, or by comparing the relative complexity needed to approximate example functions between different architectures. In this paper, we examine the topological constraints that the architecture of a neural network imposes on the level sets of all the functions that it is able to approximate. This approach is novel for both the nature of the limitations and the fact that they are independent of network depth for a broad family of activation functions.

研究の動機と目的

• 深く細いニューラルネットワークのアーキテクチャが、近似可能な関数に課す基本的なトポロジー的制限を特定すること。
• 円形やコンパクトにサポートされたクラスタのような、有界な意思決定境界を必要とするデータ構造を、なぜこのようなネットワークが苦手とするかを理解すること。
• 深さが独立に増加しても、幅の制限を克服できない関数タイプの近似において、深さそのものが万能ではないことを示すこと。これは、深層ネットワークの普遍的近似能力に関する仮定に挑戦する。
• 従来の複雑度やノルムに基づく境界とは独立した、ニューラルネットワークの表現力分析のための新しいトポロジー的フレームワークを提唱すること。

提案手法

• 深く、全結合で、幅が制限された隠れ層を持つ順伝播型ニューラルネットワークが近似可能な関数の入力空間におけるレベル集合のトポロジー的構造を分析する。
• 集合論的位相幾何学を用いて、このようなネットワークが近似可能な関数は、必ず無限に拡がるレベル成分を有する必要があることを証明する。
• 一対一関数によって一様に近似可能な連続活性化関数に基づく極限的議論を用いて、トポロジー的不変性を確立する。
• 背理法を用いた証明：有界なレベル集合を仮定すると、コンパクトな近傍に収まらない経路が生じ、近似性質に反する。
• TensorFlowのニューラルネットワークプレイグラウンドを用いた2次元の合成データセット（中心に1つのクラス、周囲にリング）を用いて理論的結果を実証する。
• 深く細いネットワーク（無限に拡がる曲線）と浅く幅広いネットワーク（有界なループ）の意思決定境界を比較し、トポロジー的制限を実験的に示す。

実験結果

リサーチクエスチョン

• RQ1 入力次元に等しいかそれ以下の隠れ層幅を持つ、深く細いニューラルネットワークは、コンパクトな定義域上で任意の連続関数を近似できるか？
• RQ2 このようなアーキテクチャが、近似可能な関数のレベル集合に課すトポロジー的制約は何か？
• RQ3 この制限は深さに起因するのか、幅に起因するのか。深さを増加させることで幅の制限を克服できるか？
• RQ4 これらのトポロジー的制約は、ニューラルネットワーク近似理論における従来の複雑度ベースの境界とどのように比較できるか？
• RQ5 これらの制約は、特定の構造的性質を持つデータに対して深層ネットワークの実験的成果をどの程度説明できるか？

主な発見

• 隠れ層幅が入力次元以下に制限される深く細いニューラルネットワークは、入力空間内で有界なレベル集合を持つ関数を近似できない。
• 主な結果はネットワークの深さに依存せず、任意に深いネットワークであっても、幅が狭い限りトポロジカルに制限される。
• このようなネットワークが近似可能な任意の関数は、無限に拡がるレベル集合を持つ必要がある。すなわち、レベル成分が無限に伸びる。
• 実験結果から、深く細いネットワーク（例：6層の2次元隠れ層）は無限に拡がる意思決定境界を生成するが、1つの3次元隠れ層は有界なループを生成できる。
• 理論的制約は、中心クラスタを取り囲むような理想の有界な意思決定境界を学習できない理由を説明している。
• 従来の研究よりも強力な結果である。これは、コンパクト部分集合における$L^∞$ノルムに適用可能であり、ノルムに基づくまたは漸近的複雑度の境界ではなく、トポロジー的不変性に基づくためである。