[论文解读] Lower bounds over Boolean inputs for deep neural networks with ReLU gates

Anirbit Mukherjee, Amitabh Basu|arXiv (Cornell University)|Nov 8, 2017

Stochastic Gradient Optimization Techniques被引用 9

一句话总结

该论文利用随机限制和符号秩方法，建立了计算布尔函数的深层ReLU神经网络的新型大小下界。研究证明了LTF-of-ReLU电路在1/2+ε输入上匹配Andreev函数时的近乎线性大小下界Ω(ε²⁽¹⁻δ⁾n¹⁻δ)，以及在底层权重受限条件下，深度为O(n^ξ)且ξ<1/8的ReLU电路的指数维数下界。

ABSTRACT

Motivated by the resurgence of neural networks in being able to solve complex learning tasks we undertake a study of high depth networks using ReLU gates which implement the function $x \\mapsto \\max\\{0,x\\}$. We try to understand the role of depth in such neural networks by showing size lowerbounds against such network architectures in parameter regimes hitherto unexplored. In particular we show the following two main results about neural nets computing Boolean functions of input dimension $n$, 1. We use the method of random restrictions to show almost linear, $\\Omega(\\epsilon^{2(1-\\delta)}n^{1-\\delta})$, lower bound for completely weight unrestricted LTF-of-ReLU circuits to match the Andreev function on at least $\\frac{1}{2} +\\epsilon$ fraction of the inputs for $\\epsilon &gt; \\sqrt{2\\frac{\\log^{\\frac {2}{2-\\delta}}(n)}{n}}$ for any $\\delta \\in (0,\\frac 1 2)$ 2. We use the method of sign-rank to show exponential in dimension lower bounds for ReLU circuits ending in a LTF gate and of depths upto $O(n^{\\xi})$ with $\\xi &lt; \\frac{1}{8}$ with some restrictions on the weights in the bottom most layer. All other weights in these circuits are kept unrestricted. This in turns also implies the same lowerbounds for LTF circuits with the same architecture and the same weight restrictions on their bottom most layer. Along the way we also show that there exists a $\\mathbb{R}^ n\ ightarrow \\mathbb{R}$ Sum-of-ReLU-of-ReLU function which Sum-of-ReLU neural nets can never represent no matter how large they are allowed to be.

研究动机与目标

• 通过为计算布尔函数的电路建立大小下界，理解深度在深层ReLU神经网络中的作用。
• 探索电路复杂度理论中此前未被研究的ReLU电路参数区域。
• 研究ReLU网络在受限于布尔输入时的表示能力局限性，特别是其表达能力。
• 证明某些Sum-of-ReLU-of-ReLU函数无法被任何有限大小的Sum-of-ReLU网络表示，无论其规模如何。
• 将已知的下界技术——随机限制和符号秩——扩展至具有布尔输入的ReLU网络。

提出的方法

• 应用随机限制方法，分析LTF-of-ReLU电路在随机输入限制下的鲁棒性，从而推导出近乎线性大小下界。
• 采用符号秩方法，推导出以LTF门结束的ReLU电路在深度达O(n^ξ)（ξ<1/8）时的指数维数大小下界。
• 使用基于矩阵的ReLU电路表示方法，其中每一层的输出通过连续行和列划分编码为分块常数矩阵。
• 对电路深度应用归纳论证，表明下层分块常数矩阵的和产生具有细化分块结构的矩阵，其受宽度与权重参数乘积的控制。
• 提出一个关键命题：w个矩阵的和，每个具有D个分块，将产生具有O(w(D−1)+1)个连续分块的矩阵，从而实现对电路复杂度的归纳控制。
• 分析ReLU门作为max{0, b + ⟨w,x⟩}的行为，并利用ReLU的分段线性特性，将电路输出建模为对下层输出线性组合的最大值操作。

实验结果

研究问题

• RQ1 在LTF输出门的深层ReLU网络中，计算类似Andreev函数的布尔函数且相对于随机猜测具有恒定优势时，其最小大小是多少？
• RQ2 当限制在布尔输入上且底层权重受限时，能否为有界深度的ReLU网络建立电路大小的指数下界？
• RQ3 是否存在可表示为Sum-of-ReLU-of-ReLU但无法被任何有限大小的Sum-of-ReLU网络表示的函数？
• RQ4 经典电路复杂度技术（如随机限制和符号秩）如何应用于输入受限于布尔超立方体的ReLU网络？
• RQ5 深度和权重约束对ReLU网络在计算布尔函数时的表示能力有何影响？

主要发现

• 在任意δ∈(0,1/2)下，当ε > √(2 log²⁽²⁻δ⁾(n)/n)时，证明了LTF-of-ReLU电路在至少1/2+ε输入上计算Andreev函数的近乎线性大小下界Ω(ε²⁽¹⁻δ⁾n¹⁻δ)。
• 在底层权重施加温和限制的条件下，利用符号秩方法，证明了深度为O(n^ξ)且ξ<1/8的ReLU电路具有指数维数大小下界。
• 相同的指数下界被证明也适用于具有相同架构和权重约束的LTF电路，从而将结果扩展至阈值门网络。
• 证明了存在一个从ℝⁿ→ℝ的实值函数f，其形式为Sum-of-ReLU-of-ReLU，无法被任何有限大小的Sum-of-ReLU神经网络表示，无论其规模如何。
• 归纳的矩阵分块结构论证表明，k层ReLU电路输出矩阵中的连续分块数增长为O((∏ᵢ₌₁ᵏ wᵢ)(mW))，其中wᵢ为各层宽度，W为权重大小的上界。
• 分析确认，即使除底层外所有层的权重均无限制，ReLU网络在计算某些布尔函数时仍面临强烈限制，尤其是在深度和权重约束下。