[论文解读] Linear Inequality Constraints for Neural Network Activations.

Thomas Frerix, Matthias Nießner+1 more|arXiv (Cornell University)|Feb 5, 2019

Generative Adversarial Networks and Image Synthesis参考文献 16被引用 3

一句话总结

该论文提出一种方法，可在训练过程中直接将齐次线性不等式约束（Ax ≤ 0）嵌入神经网络激活值中，通过在初始化时参数化可行集并使用标准随机梯度下降实现。该方法无需运行时投影即可始终满足约束，相比事后投影方法，推理速度最高可提升100倍。

ABSTRACT

We propose a method to impose homogeneous linear inequality constraints of the form $Ax\leq 0$ on neural network activations. The proposed method allows a data-driven training approach to be combined with modeling prior knowledge about the task. One way to achieve this task is by means of a projection step at test time after unconstrained training. However, this is an expensive operation. By directly incorporating the constraints into the architecture, we can significantly speed-up inference at test time; for instance, our experiments show a speed-up of up to two orders of magnitude over a projection method. Our algorithm computes a suitable parameterization of the feasible set at initialization and uses standard variants of stochastic gradient descent to find solutions to the constrained network. Thus, the modeling constraints are always satisfied during training. Crucially, our approach avoids to solve an optimization problem at each training step or to manually trade-off data and constraint fidelity with additional hyperparameters. We consider constrained generative modeling as an important application domain and experimentally demonstrate the proposed method by constraining a variational autoencoder.

研究动机与目标

• 通过在激活值上施加线性不等式约束，将领域特定的先验知识整合到神经网络中。
• 通过将约束直接嵌入网络架构中，消除测试时昂贵的投影步骤。
• 通过避免为约束保真度引入额外优化步骤或超参数调优，保持训练效率。
• 展示约束深度生成建模的可行性与优势，特别是在变分自编码器中的应用。

提出的方法

• 该方法在神经网络初始化时，通过将无约束变量映射到约束子空间的变换，对满足 Ax ≤ 0 的激活可行集进行参数化。
• 利用标准随机梯度下降进行端到端训练，确保在整个优化过程中约束被内在地满足。
• 通过预先定义可行参数化，避免在每个训练步骤中求解约束优化问题。
• 通过反向传播保持约束结构，实现在约束流形内的基于梯度的学习。
• 该方法应用于变分自编码器，以对潜在表征施加约束，如非负性或有界性。

实验结果

研究问题

• RQ1 能否在不依赖运行时投影的情况下，将神经网络激活值上的线性不等式约束直接嵌入网络架构中？
• RQ2 与事后投影方法相比，训练期间嵌入约束是否能显著提升推理速度？
• RQ3 该方法能否在避免为约束保真度引入额外超参数的情况下，保持训练效率？
• RQ4 该方法在约束变分自编码生成建模中的有效性如何？

主要发现

• 与事后投影基线相比，所提方法在推理速度上最高可提升100倍。
• 约束在整个训练过程中严格被强制执行，无需额外优化步骤或超参数调优。
• 该方法可高效地将先验知识整合到神经网络中，尤其在变分自编码器中表现突出。
• 该方法在使用标准随机梯度下降时保持了训练的稳定性和收敛性。