[论文解读] L p -Norm Constrained Coding With Frank-Wolfe Network.

Ke Sun, Zhangyang Wang+2 more|arXiv (Cornell University)|Feb 28, 2018

Sparse and Compressive Sensing Techniques参考文献 81被引用 1

一句话总结

本文提出弗兰克-沃尔夫网络（F-W Net），一种受弗兰克-沃尔夫算法展开启发的深度学习架构，用于求解 $L_p$-范数约束编码问题，引入可学习的 $pool_p$ 单元，该单元泛化了池化、激活和归一化操作。F-W Net 实现了最先进性能，包括在图像去噪（BSD-68）任务上实现超过 2 dB 的性能提升，通过实现网络中 $p$-范数参数的端到端学习。

ABSTRACT

We investigate the problem of $L_p$-norm constrained coding, i.e. converting signal into code that lies inside the $L_p$-ball and most faithfully reconstructs the signal. While previous works known as sparse coding have addressed the cases of $\ell_0$ norm and $L_1$-norm, more general cases with other $p$ values, especially with unknown $p$, remain a difficulty. We propose the Frank-Wolfe Network (F-W Net), whose architecture is inspired by unrolling and truncating the Frank-Wolfe algorithm for solving an $L_p$-norm constrained problem. We show that the Frank-Wolfe solver for the $L_p$-norm constraint leads to a novel closed-form nonlinear unit, which is parameterized by $p$ and termed $pool_p$. The $pool_p$ unit links the conventional pooling, activation, and normalization operations, making F-W Net distinct from existing deep models either heuristically designed or converted from projection gradient descent or proximal algorithms. We further show that the hyper-parameter $p$ can be made learnable instead of pre-chosen in F-W Net, which gracefully solves the $L_p$-norm constrained coding problem with unknown $p$. A convolutional extension of F-W Net is then presented. We evaluate the performance of F-W Net on an extensive range of simulations to show the strong learning capability of F-W Net. We then adopt F-W Net or Convolutional F-W Net on a series of real-data tasks that are all formulated as $L_p$-norm constrained coding, including image classification, image denoising, and super-resolution, where F-W Net all demonstrates impressive effectiveness, flexibility, and robustness. In particular, F-W Net achieves significantly better performance than the state-of-the-art convolutional networks on image denoising, leading to more than 2 dB gain on the BSD-68 dataset.

研究动机与目标

• 解决一般 $p$ 值下 $L_p$-范数约束编码的挑战，特别是当 $p$ 值未知时。
• 设计一种深度神经网络架构，自然地整合 $L_p$-范数约束，而无需依赖启发式设计。
• 实现网络内部 $p$-范数参数的端到端学习，以自适应地匹配数据驱动的最优 $p$ 值。
• 将该框架扩展至卷积设置，以适用于真实世界图像恢复任务。
• 在多种 $L_p$-约束任务（如图像去噪、超分辨率和分类）中展示卓越性能。

提出的方法

• 对弗兰克-沃尔夫算法进行展开与截断，推导出一种用于 $L_p$-范数约束优化的可微分、迭代式网络架构。
• 提出 $pool_p$ 单元作为闭式非线性激活函数，泛化了池化、归一化和非线性操作，其参数由 $p$ 控制。
• 将 $pool_p$ 单元嵌入前馈网络结构中，构成弗兰克-沃尔夫网络（F-W Net）。
• 通过反向传播使 $p$ 超参数可学习，使网络能够自适应地确定每项任务的最优 $p$ 值。
• 构建 F-W Net 的卷积扩展版本，以处理如图像等具有空间结构的数据。
• 使用标准优化方法在 $L_p$-约束重建目标上进行端到端训练。

实验结果

研究问题

• RQ1 弗兰克-沃尔夫算法能否被有效展开为一种用于 $L_p$-范数约束编码的可微分深度网络架构？
• RQ2 所提出的 $pool_p$ 单元是否在保持 $L_p$-范数约束的前提下，对标准神经网络操作提供了有意义的泛化？
• RQ3 在训练过程中，$L_p$-范数编码中的 $p$ 参数能否被有效端到端学习，从而在未知 $p$ 值设置下提升性能？
• RQ4 F-W Net 在真实世界 $L_p$-约束任务（如图像去噪和超分辨率）中与当前最先进模型相比表现如何？
• RQ5 F-W Net 的卷积扩展版本能否在具有显著性能提升的图像恢复任务中实现有效泛化？

主要发现

• 与当前最先进模型相比，F-W Net 在 BSD-68 图像去噪基准上实现了超过 2 dB 的 PSNR 提升。
• F-W Net 中可学习的 $p$ 参数使网络能够自动适应最优 $p$ 值，从而在多样化任务中提升鲁棒性与性能。
• $pool_p$ 单元有效将池化、激活和归一化统一为一个由 $p$ 参数化的可微分操作，增强了模型的表达能力。
• F-W Net 的卷积扩展在图像超分辨率和分类任务中表现出色，证实了其在复杂视觉任务中的可扩展性。
• 大量仿真与真实数据评估表明，F-W Net 在多种 $L_p$-约束编码问题中均表现出良好泛化能力，并保持一致的性能增益。