[论文解读] Input Convex Neural Networks

Brandon Amos, Lei Xu+1 more|arXiv (Cornell University)|Sep 22, 2016

Neural Networks and Applications参考文献 38被引用 97

一句话总结

本文提出输入凸神经网络（ICNNs），一种深度学习架构，通过约束网络参数，确保网络输出在部分输入上保持凸性。这使得可通过凸优化实现全局最优、高效的推理，在结构化预测、图像补全和连续控制强化学习任务中，性能显著优于以往方法。

ABSTRACT

This paper presents the input convex neural network architecture. These are scalar-valued (potentially deep) neural networks with constraints on the network parameters such that the output of the network is a convex function of (some of) the inputs. The networks allow for efficient inference via optimization over some inputs to the network given others, and can be applied to settings including structured prediction, data imputation, reinforcement learning, and others. In this paper we lay the basic groundwork for these models, proposing methods for inference, optimization and learning, and analyze their representational power. We show that many existing neural network architectures can be made input-convex with a minor modification, and develop specialized optimization algorithms tailored to this setting. Finally, we highlight the performance of the methods on multi-label prediction, image completion, and reinforcement learning problems, where we show improvement over the existing state of the art in many cases.

研究动机与目标

• 开发一种神经网络架构，确保在部分输入上输出凸性，从而通过凸优化实现全局最优推理。
• 通过输出函数的凸性，实现在结构化预测和数据补全任务中的高效可扩展推理。
• 通过将Q函数建模为输入凸网络，将深度学习模型扩展至连续控制强化学习，实现最优动作选择。
• 证明凸性约束不会限制模型在复杂任务（如图像补全和机器人控制）中的表征能力。
• 提供一个统一框架，将优化过程整合到推理中，以全局最优解替代启发式或非凸推理方法。

提出的方法

• 提出一种神经网络架构，通过约束全连接层和卷积层的权重为非负，使输出在部分输入（如结构化预测中的输出）上保持凸性。
• 引入部分输入凸变体（PICNN），允许输入特征存在非凸路径，同时在目标变量上保持凸性。
• 开发专用优化算法（如投影梯度下降和集合方法），在推理过程中高效求解凸输入上的argmin问题。
• 使用最大间隔结构化预测或通过隐式微分对argmin操作进行端到端反向传播的方式训练网络。
• 将ICNN框架应用于结构化预测中的能量函数和强化学习中的Q函数建模，通过凸优化实现最优推理。
• 采用两阶段训练流程：首先使用损失的凸松弛版本进行预训练，然后通过隐式微分微调，以处理反向传播中非可微的argmin。

实验结果

研究问题

• RQ1 能否对深度神经网络施加约束，使其输出在部分输入上保持凸性，从而通过凸优化实现全局最优推理？
• RQ2 在图像补全和强化学习等复杂任务中，强制输入凸性是否会限制深度网络的表征能力？
• RQ3 ICNN在结构化预测和连续控制任务中的性能与最先进模型相比如何？
• RQ4 尽管整体训练过程存在非凸性，ICNN能否实现高效可扩展的优化？
• RQ5 ICNN在强化学习中在多大程度上可作为DDPG或NAF等现有函数逼近器的即插即用替代方案？

主要发现

• 在图像补全任务中，采用集合熵训练的ICNN达到833.0的MSE，优于非凸基线（850.9）和求和-乘积模型（942）。
• 采用梯度下降优化的ICNN达到872.0的MSE，表明即使使用更简单的优化方法，性能仍具竞争力，证明凸性约束未显著影响性能。
• 在OpenAI Gym MuJoCo基准测试中，ICNN在Humanoid（433.38）和Hopper（831.00）任务上获得最高测试奖励，优于DDPG和NAF。
• 在HalfCheetah任务中，ICNN达到3822.99的测试奖励，显著优于DDPG（2909.77）和NAF（2575.16）。
• 在Reacher（-5.08）和Walker2d（298.21）任务中，ICNN表现优于DDPG和NAF，表明其在连续控制任务中具备强鲁棒性。
• 结果表明，输入凸性不会抑制模型表征能力，因为采用集合熵训练的ICNN在性能上达到或超过非凸模型。