[论文解读] Learning with Constraint Learning: New Perspective, Solution Strategy and Various Applications

Risheng Liu, Jiaxin Gao+2 more|arXiv (Cornell University)|Jul 28, 2023

Advanced Image and Video Retrieval TechniquesComputer Science被引用 3

一句话总结

本文提出学习约束学习（LwCL），一种统一的分层优化框架，通过将主要学习目标建模为受低层级约束学习器约束的形式，来解决复杂学习问题（如生成对抗网络、多任务学习和超参数调优）。该方法采用基于梯度响应的快速求解策略，在视觉与机器学习领域的九类问题中实现最先进性能，包括图像去模糊和少样本分类。

ABSTRACT

The complexity of learning problems, such as Generative Adversarial Network (GAN) and its variants, multi-task and meta-learning, hyper-parameter learning, and a variety of real-world vision applications, demands a deeper understanding of their underlying coupling mechanisms. Existing approaches often address these problems in isolation, lacking a unified perspective that can reveal commonalities and enable effective solutions. Therefore, in this work, we proposed a new framework, named Learning with Constraint Learning (LwCL), that can holistically examine challenges and provide a unified methodology to tackle all the above-mentioned complex learning and vision problems. Specifically, LwCL is designed as a general hierarchical optimization model that captures the essence of these diverse learning and vision problems. Furthermore, we develop a gradient-response based fast solution strategy to overcome optimization challenges of the LwCL framework. Our proposed framework efficiently addresses a wide range of applications in learning and vision, encompassing three categories and nine different problem types. Extensive experiments on synthetic tasks and real-world applications verify the effectiveness of our approach. The LwCL framework offers a comprehensive solution for tackling complex machine learning and computer vision problems, bridging the gap between theory and practice.

研究动机与目标

• 解决缺乏统一框架来建模如生成对抗网络、多任务学习和超参数优化等多样化复杂学习问题的不足。
• 克服特定任务方法存在的泛化能力差和可迁移性不足的局限。
• 利用分层优化结构建模主任务与辅助任务之间的内在耦合关系。
• 开发一种高效求解策略，以应对求解相互依赖学习目标带来的计算复杂性。
• 在视觉与机器学习的多样化应用中展示该框架的一致性能提升效果。

提出的方法

• 将LwCL建模为分层优化问题，其中主目标学习器（OL）依赖于成功完成的约束学习器（CL），后者用于施加结构或功能约束。
• 将OL目标定义为CL输出的函数，建立嵌套依赖关系，以捕捉任务间的耦合性。
• 提出一种基于动态最优响应的求解策略，利用梯度响应迭代协调优化OL与CL组件。
• 引入一种快速、可扩展的算法，通过利用梯度响应动态避免完整Hessian矩阵计算，实现高效收敛。
• 通过为每种应用场景重新定义OL与CL组件，将该框架应用于多种问题类型，如生成对抗网络、元学习和图像去模糊。
• 在图像去模糊中采用带多尺度特征的残差网络架构，在少样本学习中采用带任务与层级衰减的ResNet-12主干网络。

实验结果

研究问题

• RQ1 能否开发一种统一的优化框架，以建模具有相互依赖任务的多样化复杂学习问题？
• RQ2 如何在分层优化结构中有效形式化主任务与辅助任务之间的耦合关系？
• RQ3 何种求解策略可实现在不产生高计算成本的前提下，对LwCL框架进行高效且可扩展的优化？
• RQ4 与现有方法相比，LwCL在多样化视觉与机器学习应用中的性能提升程度如何？
• RQ5 LwCL能否在包括生成对抗网络、超参数学习和少样本分类在内的多种问题类型中实现一致的性能增益，并具备良好的泛化能力？

主要发现

• 在图像去模糊任务中，LwCL在所有五个模糊核设置下均取得最佳PSNR得分，优于FDN、IRCNN和DPIR。
• 在图像去模糊中，LwCL在平均PSNR和SSIM方面均表现最优，且在细节恢复与色彩保真度方面具有更优的感知质量。
• 在少样本分类任务中，LwCL在Omniglot数据集上多数设置下取得最高准确率，尤其在30类和40类任务中表现突出。
• 在元学习基准测试中，LwCL优于包括MAML、Meta-SGD、Reptile、iMAML、RHG和T-RHG在内的最先进方法。
• 基于梯度响应的求解策略实现了快速收敛，并有效处理了耦合目标，而无需计算完整Hessian矩阵。
• 该框架在涵盖三个应用类别的九种不同问题类型中展现出强大的可迁移性与泛化能力。