[论文解读] Globally Injective ReLU Networks

Michael Puthawala, Konik Kothari+3 more|arXiv (Cornell University)|Jun 15, 2020

Neural dynamics and brain function参考文献 62被引用 11

一句话总结

该论文为全连接和卷积ReLU网络中的全局单射性建立了严格的理论条件，证明每层的最小扩张因子为2是单射性的必要且充分条件。此外，研究还表明，端到端的维度加倍（而非逐层加倍）即可保证单射性，该结果在生成模型和反问题中具有应用价值。

ABSTRACT

Injectivity plays an important role in generative models where it enables inference; in inverse problems and compressed sensing with generative priors it is a precursor to well posedness. We establish sharp characterizations of injectivity of fully-connected and convolutional ReLU layers and networks. First, through a layerwise analysis, we show that an expansivity factor of two is necessary and sufficient for injectivity by constructing appropriate weight matrices. We show that global injectivity with iid Gaussian matrices, a commonly used tractable model, requires larger expansivity between 3.4 and 10.5. We also characterize the stability of inverting an injective network via worst-case Lipschitz constants of the inverse. We then use arguments from differential topology to study injectivity of deep networks and prove that any Lipschitz map can be approximated by an injective ReLU network. Finally, using an argument based on random projections, we show that an end-to-end -- rather than layerwise -- doubling of the dimension suffices for injectivity. Our results establish a theoretical basis for the study of nonlinear inverse and inference problems using neural networks.

研究动机与目标

• 建立全连接和卷积ReLU网络中全局单射性的必要与充分条件，特别是在生成模型和反问题背景下的应用。
• 确定全连接和卷性ReLU层中实现单射性所需的最小扩张因子。
• 分析通过逆映射的最坏情况Lipschitz常数来衡量单射ReLU网络反演的稳定性。
• 证明单射ReLU网络可普遍逼近任意Lipschitz映射，从而确立其表达能力。
• 证明端到端扩张约2倍即可满足单射性，优于逐层要求。

提出的方法

• 对ReLU网络进行逐层分析，推导全局单射性的必要与充分条件。
• 构建确定性权重矩阵，实现在全连接层中以最小扩张因子（m = 2n）实现单射性。
• 运用微分拓扑方法证明任意Lipschitz映射可被单射ReLU网络逼近。
• 采用随机投影论证表明，端到端维度加倍足以保证单射性，从而绕过逐层约束。
• 推导最坏情况逆Lipschitz常数，以量化反问题应用中反演的稳定性。
• 采用基于GAN的实验设置，使用结构化滤波器（w 和 -s²w）的单射卷积层，验证性能与稳定性。

实验结果

研究问题

• RQ1 ReLU层实现全局单射性所需的最小扩张因子是多少？
• RQ2 单射ReLU网络能否普遍逼近任意Lipschitz映射？
• RQ3 是否必须逐层实现扩张因子2，还是端到端维度加倍即可满足单射性？
• RQ4 逆映射的最坏情况Lipschitz常数如何影响反问题中反演的稳定性？
• RQ5 能否在保持单射性的同时，使用结构化权重矩阵（如卷积滤波器）构建单射ReLU网络？

主要发现

• 全连接ReLU层中，最小扩张因子为2是全局单射性的必要且充分条件，且可通过确定性权重矩阵实现。
• 对于具有i.i.d.高斯权重的ReLU层，单射性要求的扩张因子在3.4至10.5之间。
• 单射ReLU层的最坏情况逆Lipschitz常数有界，为反问题应用提供了稳定性估计。
• 任意Lipschitz映射均可被单射ReLU网络逼近，确立了单射网络的普遍逼近能力。
• 在深层ReLU网络中，端到端扩张约2倍即可满足单射性，降低了对逐层加倍的需求。
• 数值实验表明，采用结构化滤波器（w 和 -s²w）的单射GAN在性能上可与标准GAN相媲美，同时支持稳定反演。