[论文解读] Convolutional Analysis Operator Learning: Acceleration, Convergence, Application, and Neural Networks.

Il Yong Chun, Jeffrey A. Fessler|arXiv (Cornell University)|Feb 15, 2018

Sparse and Compressive Sensing Techniques被引用 5

一句话总结

本文提出一种全局卷积分析算子学习（CAOL）框架，采用一种新型的块近端梯度法（带主要化器，BPG-M），以加速收敛并克服局部方法的内存限制。该方法引入正交性约束和促进多样性的正则化项，在稀疏视角计算机断层扫描（CT）中展现出优越的重建质量，并与卷积神经网络（CNN）模块在数学上等价。

ABSTRACT

Convolutional operator learning is increasingly gaining attention in many signal processing and computer vision applications. Learning kernels has mostly relied on so-called local approaches that extract and store many overlapping patches across training signals. Due to memory demands, local approaches have limitations when learning kernels from large datasets -- particularly with multi-layered structures, e.g., convolutional neural network (CNN) -- and/or applying the learned kernels to high-dimensional signal recovery problems. The so-called global approach has been studied within the synthesis signal model, e.g., convolutional dictionary learning, overcoming the memory problems by careful algorithmic designs. This paper proposes a new convolutional analysis operator learning (CAOL) framework in the global approach, and develops a new convergent Block Proximal Gradient method using a Majorizer (BPG-M) to solve the corresponding block multi-nonconvex problems. To learn diverse filters within the CAOL framework, this paper introduces an orthogonality constraint that enforces a tight-frame (TF) filter condition, and a regularizer that promotes diversity between filters. Numerical experiments show that, for tight majorizers, BPG-M significantly accelerates the CAOL convergence rate compared to the state-of-the-art method, BPG. Numerical experiments for sparse-view computational tomography show that CAOL using TF filters significantly improves reconstruction quality compared to a conventional edge-preserving regularizer. Finally, this paper shows that CAOL can be useful to mathematically model a CNN, and the corresponding updates obtained via BPG-M coincide with core modules of the CNN.

研究动机与目标

• 解决在大规模或高维数据集上扩展时，局部卷积算子学习方法存在的内存瓶颈问题。
• 克服现有块迭代方法在CAOL非凸多块优化问题中面临的收敛性和可扩展性问题。
• 提升高维反问题（如稀疏视角计算断层扫描）中的重建质量。
• 通过正交性约束和正则化，实现多样化、结构化的滤波器学习，以增强表征能力。
• 通过等价优化更新，建立CAOL与卷积神经网络（CNN）之间的数学联系。

提出的方法

• 提出一种全局CAOL框架，避免提取和存储图像块，相比局部方法显著降低内存使用。
• 开发一种基于主要化器的块近端梯度法（BPG-M），用于求解具有收敛性保证的非凸多块结构优化问题。
• 通过正交性约束引入紧框架（TF）滤波器条件，确保滤波器学习的稳定性和多样性。
• 引入一种显式促进所学滤波器之间多样性的正则化项，以提升表征能力和重建保真度。
• 利用BPG-M推导出的更新规则在数学上等价于CNN中的核心模块，如卷积和激活层。
• 采用主要化技术将子问题凸化，实现高效且稳定的迭代优化。

实验结果

研究问题

• RQ1 全局CAOL框架是否能在大规模信号恢复任务中，相较于局部方法在内存效率和收敛速度方面表现更优？
• RQ2 在非凸多块CAOL问题中，BPG-M方法相较于标准BPG方法在收敛性方面有何改进？
• RQ3 通过正交性约束施加紧框架条件，在稀疏视角CT中能在多大程度上提升重建质量？
• RQ4 在多样性促进正则化下，CAOL能否学习到在多种信号结构上泛化能力更强的滤波器？
• RQ5 所提出的CAOL框架中的优化更新规则是否在数学上与标准CNN模块完全对齐？

主要发现

• 对于紧主要化器，BPG-M在CAOL优化中相比最先进BPG方法实现了显著更快的收敛速度。
• 采用紧框架滤波器的CAOL在稀疏视角计算断层扫描中的重建质量，超越了传统边缘保持正则化方法。
• 在正交性和多样性约束下学习到的滤波器展现出更强的表征能力和稳定性。
• 从BPG-M推导出的CAOL更新规则与标准CNN的核心组件（如卷积层和激活层）在数学上完全一致。
• 数值实验表明，全局CAOL框架在高维信号恢复任务中仍能保持高性能。
• 主要化与块优化的结合，使非凸多块设置下的优化具备鲁棒收敛性。