[論文レビュー] Size and Depth Separation in Approximating Benign Functions with Neural Networks

Gal Vardi, Daniel Reichman+2 more|arXiv (Cornell University)|Jan 30, 2021

Machine Learning and Algorithms参考文献 43被引用数 4

ひとこと要約

本稿は、多項式的有界リプシッツ定数と効率的な計算可能性を有する関数である「良性関数」を近似する際のReLUニューラルネットワークの表現力について調査している。本稿は、このような関数における深さおよびサイズの分離を示すための計算複雑性理論的障壁を確立し、深さ4を超える分離やサイズO(d log²d)を超える分離を示すことは、計算複雑性理論における長年の未解決問題を解決することを意味することを示している。また、Ω(d/log d)のサイズを要する明示的な良性関数を構築することで、O(d)とo(d/log d)のサイズネットワークの間で厳密な分離を示している。

ABSTRACT

When studying the expressive power of neural networks, a main challenge is to understand how the size and depth of the network affect its ability to approximate real functions. However, not all functions are interesting from a practical viewpoint: functions of interest usually have a polynomially-bounded Lipschitz constant, and can be computed efficiently. We call functions that satisfy these conditions "benign", and explore the benefits of size and depth for approximation of benign functions with ReLU networks. As we show, this problem is more challenging than the corresponding problem for non-benign functions. We give barriers to showing depth-lower-bounds: Proving existence of a benign function that cannot be approximated by polynomial-size networks of depth $4$ would settle longstanding open problems in computational complexity. It implies that beyond depth $4$ there is a barrier to showing depth-separation for benign functions, even between networks of constant depth and networks of nonconstant depth. We also study size-separation, namely, whether there are benign functions that can be approximated with networks of size $O(s(d))$, but not with networks of size $O(s'(d))$. We show a complexity-theoretic barrier to proving such results beyond size $O(d\log^2(d))$, but also show an explicit benign function, that can be approximated with networks of size $O(d)$ and not with networks of size $o(d/\log d)$. For approximation in $L_\infty$ we achieve such separation already between size $O(d)$ and size $o(d)$. Moreover, we show superpolynomial size lower bounds and barriers to such lower bounds, depending on the assumptions on the function. Our size-separation results rely on an analysis of size lower bounds for Boolean functions, which is of independent interest: We show linear size lower bounds for computing explicit Boolean functions with neural networks and threshold circuits.

研究の動機と目的

• 多項式的有界リプシッツ定数と効率的な計算可能性を有する関数である「良性関数」の近似において、ネットワークサイズと深さが果たす役割を理解すること。
• 特に実用的で現実世界の学習タスクの文脈において、深さとサイズがこのような関数の近似において意味のある利点を提供するかどうかを調査すること。
• 良性関数における深さおよびサイズの分離を示すための根本的な計算複雑性理論的障壁を同定すること。
• サイズまたは深さにおける厳密な分離を示す明示的な良性関数の例を構築すること。

提案手法

• 関数がpoly(d)-リプシッツかつ指数的または多項式的時間で計算可能である場合を『良性』関数として定義する。
• 深さの分離を示す問題を、EXP ⊈ TC⁰_{k-2} などの既知の計算複雑性理論的仮定に還元する。
• シフトされた入力に対する確率的平均化を用いて、1つのネットワークがシフトされた定義域全体で関数を近似できることを示し、サイズの削減を可能にする。
• 明示的なブール関数（例：集合の互いに素性）を計算するサイズO(d)のニューラルネットワークを構築し、多項式的有界リプシッツ性を有する。
• 近似ネットワークにしきい値変換を適用してブール出力を回復させ、ネットワークサイズとブール回路の下界を結びつける。
• 既知のしきい値回路における線形サイズの下界を活用し、ReLUネットワークのサイズ下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 深さが、特に深さ4を超えて良性関数の近似において顕著な利点を提供する可能性はあるか？
• RQ2 定数深さのネットワークにおける良性関数の深さ分離を示すための根本的な計算複雑性理論的障壁は存在するか？
• RQ3 良性関数におけるサイズ分離は証明可能であり、その限界は何か？
• RQ4 明示的な良性関数を近似するために必要な最小ネットワークサイズは何か？ また、既知の下界と比較するとどうなるか？
• RQ5 良性関数におけるサイズおよび深さの分離は、TC⁰ や P などの複雑度クラスとどのように関係するか？

主な発見

• 良性関数が深さ4以上の多項式サイズネットワークで近似できないことを示すことは、計算複雑性理論における主要な未解決問題である EXP ⊈ TC⁰_{k-2} を示すことと同値である。
• O(d log²d)を超えるサイズ分離を示すことは、回路複雑性における未解決問題を解決することを意味するため、計算複雑性理論的障壁が存在する。
• 明示的な良性関数が存在し、O(d)サイズのネットワークでは近似可能だが、o(d/log d)サイズのネットワークでは近似不可能であるため、超定数サイズの分離が確立されている。
• L∞近似において、サイズO(d)とサイズo(d)の間で厳密な分離が存在し、特定の良性関数に対してO(d)が漸近的に最適であることが示されている。
• しきい値回路における線形サイズの下界は、同じブール関数を計算するReLUネットワークに対しても線形サイズの下界を示唆し、ネットワークサイズの下界を示す新たな道筋を提供している。
• 本稿は、多項式時間で計算可能で、定数深さかつO(d)サイズのReLUネットワークで計算可能な良性関数を構築しているが、L∞誤差1/3でそれを近似するあらゆるネットワークはΩ(d)サイズを要する。