[論文レビュー] Neural Networks with Small Weights and Depth-Separation Barriers

Gal Vardi, Shamir, Ohad|arXiv (Cornell University)|May 31, 2020

Stochastic Gradient Optimization Techniques参考文献 24被引用数 5

ひとこと要約

この論文は、多項式有界な重みをもつReLUニューラルネットワークにおける深さ分離の証明の根本的障壁を特定し、問題を回路複雑性分野の未解決問題に還元することで、深さ4を超える進展が自然証明の障壁によって制限されることを示している。任意の重みをもつ定数深さ・多項式幅のネットワークで近似可能な関数は、多項式有界な重みをもつ深さ3k+3のネットワークでも近似可能であり、これは深さ4を超える深さ分離の証明が自然証明の障壁によって制限されることを示唆している。

ABSTRACT

In studying the expressiveness of neural networks, an important question is whether there are functions which can only be approximated by sufficiently deep networks, assuming their size is bounded. However, for constant depths, existing results are limited to depths $2$ and $3$, and achieving results for higher depths has been an important open question. In this paper, we focus on feedforward ReLU networks, and prove fundamental barriers to proving such results beyond depth $4$, by reduction to open problems and natural-proof barriers in circuit complexity. To show this, we study a seemingly unrelated problem of independent interest: Namely, whether there are polynomially-bounded functions which require super-polynomial weights in order to approximate with constant-depth neural networks. We provide a negative and constructive answer to that question, by showing that if a function can be approximated by a polynomially-sized, constant depth $k$ network with arbitrarily large weights, it can also be approximated by a polynomially-sized, depth $3k+3$ network, whose weights are polynomially bounded.

研究の動機と目的

• 定数深さのネットワークで効率的に近似可能な関数が、重みが多項式的に有界な場合に深さが必要とされるかどうかを調査すること。
• 特に重み制約下での深さ4を超える深さ分離の証明における制限を検討すること。
• 深さ分離の問いを、擬似ランダム関数構築における既知の障壁に還元することで、ニューラルネットワークの表現力と回路複雑性のギャップを埋めること。
• 根本的な問いを解決すること：定数深さのネットワークで多項式的に有界な関数は、超多項式的な重みを必要とするのか。
• 定数深さのネットワークに任意の重みをもつネットワークを模倣できる深さ3k+3のネットワークが多項式的有界な重みをもつネットワークによってシミュレート可能であることを確立することにより、深さ分離証明の範囲を制限すること。

提案手法

• ReLUネットワークにおける深さ分離の問題を、特に自然証明の障壁にかかわる回路複雑性分野の未解決問題に還元する。
• 構成的証明を用いて、任意の重みをもつ定数深さネットワークで近似可能な関数が、多項式的有界な重みをもつより深いネットワーク（深さ3k+3）でも再表現可能であることを示す。
• 区分線形関数を深さ2・多項式幅のReLUネットワークで表現するための分解技術を適用する。
• 入力分布上の期待値に基づく解析を用いて、個々の入力次元における近似誤差を制限する。
• 条件付き期待値から導かれる一変数関数に対して、深さ2・多項式幅のネットワークを構築し、ReLUネットワークの区分線形構造を活用する。
• L2ノルムにおける三角不等式を用いて次元間の誤差伝播を結合し、全体の近似誤差がεの範囲内に保たれることを保証する。

実験結果

リサーチクエスチョン

• RQ1 定数深さのReLUネットワークで大きな重みを必要とする関数は、より深いネットワークで多項式的有界な重みをもって効率的に近似可能か？
• RQ2 深さ4を超えるニューラルネットワークにおける深さ分離の証明における根本的制限は何か？
• RQ3 回路複雑性における自然証明の障壁は、ReLUネットワークにおける深さ分離の証明をどの程度妨げるか？
• RQ4 任意の重みをもつ定数深さネットワークを模倣できる、多項式的有界な重みをもつ深さ3k+3のネットワークは存在するか？
• RQ5 深さを増やしても、重みの大きさの制約によって深層ネットワークの表現力が根本的に制限される可能性はあるか？

主な発見

• 任意の重みが多項式的に有界な定数深さ・多項式幅のReLUネットワークで近似可能な関数は、多項式的有界な重みをもつ深さ3k+3のネットワークでも近似可能である。
• 本論文は、このような深さ3k+3のネットワークが存在することを構成的証明により示しており、深さと重みの大きさの間の直接的なトレードオフを確立している。
• 近似誤差はεの範囲内に保たれ、d次元における全L2誤差はd × (ε/d) = εで有界である。
• この結果は、もともとブール回路にのみ関係すると考えられていた回路複雑性における自然証明の障壁が、実数値ReLUネットワークにおける深さ分離証明に対しても制限を及えることを示唆している。
• 深さk ≥ 4の場合、深さ分離の証明が現在の自然証明技術では得られにくく、深さ4のしきい値回路における擬似ランダム関数族の存在がその理由である。
• 構成法により、多項式幅の深さ2ネットワークが、多項式回数の区分線形部分をもつ任意の一変数区分線形関数をシミュレート可能であることが示され、これが全体の還元の鍵となっている。