[论文解读] Convolutional Bipartite Attractor Networks

Michael L. Iuzzolino, Yoram Singer+1 more|arXiv (Cornell University)|Jun 8, 2019

Advanced Image Processing Techniques参考文献 46被引用 6

一句话总结

本文提出卷积双流吸引子网络（CBANs），一种新颖的卷积双流循环架构，利用能量最小化动力学实现图像修复与超分辨率中的模式补全。通过结合自定义训练损失、新型激活函数及权重重叠连接，CBANs 在图像补全任务中达到最先进性能，在超分辨率任务中表现具有竞争力，其感知质量（SSIM）优于基线模型，同时保持计算效率。

ABSTRACT

In human perception and cognition, a fundamental operation that brains perform is interpretation: constructing coherent neural states from noisy, incomplete, and intrinsically ambiguous evidence. The problem of interpretation is well matched to an early and often overlooked architecture, the attractor network---a recurrent neural net that performs constraint satisfaction, imputation of missing features, and clean up of noisy data via energy minimization dynamics. We revisit attractor nets in light of modern deep learning methods and propose a convolutional bipartite architecture with a novel training loss, activation function, and connectivity constraints. We tackle larger problems than have been previously explored with attractor nets and demonstrate their potential for image completion and super-resolution. We argue that this architecture is better motivated than ever-deeper feedforward models and is a viable alternative to more costly sampling-based generative methods on a range of supervised and unsupervised tasks.

研究动机与目标

• 为解决传统吸引子网络在处理复杂高维视觉数据时的局限性，通过整合现代深度学习技术。
• 实现具有隐藏单元与更深架构的吸引子网络的有效训练，克服经典赫布学习的限制。
• 证明吸引子网络可作为深度前馈网络与基于采样的生成模型在监督与无监督图像任务中的可行且高效的替代方案。
• 探索吸引子动力学在求解图像修复与超分辨率等约束满足问题中的潜力，实现动态计算投入。

提出的方法

• 提出双流架构，包含独立的可见层与隐藏层，通过交替更新激活值模拟吸引子动力学。
• 提出基于最小化重构输出与真实值之间能量差的新型训练损失，促进收敛至一致的解释。
• 采用支持稳定训练的自定义激活函数，使网络能够对不完整或含噪输入进行迭代优化。
• 强制前向与反向连接的权重重叠约束（W = W^T），确保基于能量的动力学特性并简化训练过程。
• 在各层间应用平均池化与卷积滤波器，保持空间层次结构并实现平移等变处理。
• 采用双相更新策略，交替更新可见单元与隐藏单元，模拟迭代约束满足过程。

实验结果

研究问题

• RQ1 吸引子网络能否被有效扩展至更大规模、更现代的视觉任务，如图像补全与超分辨率？
• RQ2 结合现代训练技术的卷积双流吸引子架构是否在感知质量与效率方面优于标准前馈与生成模型？
• RQ3 在深层卷积网络中，基于能量的动力学能否在无需推理阶段采样或迭代优化的情况下，实现图像恢复任务的竞争力表现？
• RQ4 所提出的训练损失与激活函数如何提升具有隐藏单元的吸引子网络的收敛性与稳定性？

主要发现

• CBANs 在图像补全任务中表现出卓越的感知质量，SSIM 分数显著高于基线模型，尤其在 CIFAR-10 与 Omniglot 等挑战性数据集上表现突出。
• 在 ×2 超分辨率任务中，CBAN 在 Set5 数据集上达到 PSNR 34.18 与 SSIM 0.947，优于双三次插值基线，并在 SSIM 指标上匹配或超越多个领先模型。
• CBANs 在重建图像中产生更锐利的边缘与更一致的纹理，表明其有效实现了约束满足与模式补全。
• 模型始终优于 CD-VAE 与 CBAN-noTD，证明所提训练损失与权重重叠架构的重要性。
• CBAN-asym（无转置约束的变体）常产生伪影与极限环，凸显权重重叠设计对稳定补全的必要性。
• CBANs 的训练计算成本与深层前馈网络相当，表明其在实际应用中具备可行性。