[论文解读] Minimal Width for Universal Property of Deep RNN

Changhoon Song, Geonho Hwang+2 more|arXiv (Cornell University)|Nov 25, 2022

Stochastic Gradient Optimization Techniques被引用 9

一句话总结

本文证明了深度窄层循环神经网络（RNN）在使用ReLU激活函数时，能够普遍逼近任意从 $\mathbb{R}^{d_x}$ 中的有限序列到 $\mathbb{R}^{d_y}$ 的连续函数或 $L^p$ 函数，其最小宽度对于连续函数为 $d_x + d_y + 3$，对于 $L^p$ 函数为 $\max\{d_x+1, d_y\}$，且该结果与序列长度无关。该结果建立了深度窄层RNN在普遍逼近性方面的紧致上界。

ABSTRACT

A recurrent neural network (RNN) is a widely used deep-learning network for dealing with sequential data. Imitating a dynamical system, an infinite-width RNN can approximate any open dynamical system in a compact domain. In general, deep networks with bounded widths are more effective than wide networks in practice; however, the universal approximation theorem for deep narrow structures has yet to be extensively studied. In this study, we prove the universality of deep narrow RNNs and show that the upper bound of the minimum width for universality can be independent of the length of the data. Specifically, we show that a deep RNN with ReLU activation can approximate any continuous function or $L^p$ function with the widths $d_x+d_y+2$ and $\max\{d_x+1,d_y\}$, respectively, where the target function maps a finite sequence of vectors in $\mathbb{R}^{d_x}$ to a finite sequence of vectors in $\mathbb{R}^{d_y}$. We also compute the additional width required if the activation function is $ anh$ or more. In addition, we prove the universality of other recurrent networks, such as bidirectional RNNs. Bridging a multi-layer perceptron and an RNN, our theory and proof technique can be an initial step toward further research on deep RNNs.

研究动机与目标

• 建立深度窄层RNN实现序列函数普遍逼近所需的最小宽度。
• 证明最小宽度边界与序列长度无关，从而支持高效深度窄层架构的设计。
• 将普遍逼近结果扩展至多种RNN变体，包括双向RNN、GRUs和LSTMs。
• 为不同函数类（包括连续函数和 $L^p$ 函数）提供最小宽度的紧致上界。
• 通过构建显式的RNN架构，弥合深度窄层网络与普遍逼近性之间的理论差距。

提出的方法

• 通过逐元素提升映射和改进的TRNN单元的递归组合，构建一个使用ReLU激活的深度RNN，以模拟输入序列的任意线性组合。
• 采用两阶段架构：第一阶段进行前向传播以计算过去输入的加权和，第二阶段通过矩阵求逆技术进行反向传播以重建目标函数。
• 使用二项式系数矩阵和下三角线性系统，求解在每个时间步恢复期望函数输出的权重。
• 应用推论26，求解满足由期望函数逼近导出的线性系统的反向传播权重 $\bar{b}_i[t]$。
• 通过在零点处施加可微性条件，将该构造推广至非ReLU激活函数（如sigmoid和tanh）。
• 通过结合前向和反向RNN，将该框架扩展至双向RNN，以捕捉过去和未来的依赖关系。

实验结果

研究问题

• RQ1 对于使用ReLU激活的深度窄层RNN，其在紧致域上普遍逼近连续函数所需的最小宽度是多少？
• RQ2 深度RNN中普遍逼近的最小宽度边界是否可以与序列长度无关？
• RQ3 与连续函数逼近相比，$L^p$ 函数逼近的最小宽度要求有何变化？
• RQ4 当使用sigmoid或tanh等非ReLU激活函数时，需要额外增加多少宽度？
• RQ5 普遍逼近性质是否可以扩展至双向RNN及其他RNN变体（如GRUs和LSTMs）？

主要发现

• 使用ReLU激活的深度RNN能够以宽度 $d_x + d_y + 3$ 普遍逼近任意连续函数 $f: \mathcal{K} \to \mathbb{R}^{d_y}$，其中 $\mathcal{K}$ 是 $\mathbb{R}^{d_x}$ 的紧致子集。
• 对于 $\mathcal{K}$ 上的 $L^p$ 函数逼近，最小宽度被限制在 $\max\{d_x+1, d_y\} + 1$ 以内。
• 对于 $\mathbb{R}^{d_x}$ 上的 $L^p$ 函数，使用ReLU激活时，最小宽度恰好为 $\max\{d_x+1, d_y\}$。
• 对于满足在零点可微且导数非零的非ReLU激活函数（如sigmoid或tanh），最小宽度增加1，连续函数的最小宽度变为 $d_x + d_y + 4$。
• 该构造可推广至双向RNN、GRUs和LSTMs，其最小宽度边界与标准RNN相同。
• 最小宽度与序列长度 $N$ 无关，证明了深度窄层RNN可在不随序列长度增长而增加宽度的情况下实现普遍逼近。