[论文解读] Deep Transform and Metric Learning Network: Wedding Deep Dictionary Learning and Neural Networks

Wen Tang, Émilie Chouzenoux+2 more|arXiv (Cornell University)|Feb 18, 2020

Anomaly Detection Techniques and Applications参考文献 43被引用 8

一句话总结

本文提出 DeTraMe-Net，一种新颖的深度神经网络，将深度字典学习（DDL）与循环神经网络（RNN）统一，以联合学习深度变换和学习到的度量。通过将每一层 DDL 建模为线性变换后接基于 RNN 的 Q-度量学习模块，该方法在图像分类任务中达到最先进性能，并在对抗性攻击下表现出更强鲁棒性，优于传统 DDL 和通用卷积神经网络（CNN）。

ABSTRACT

On account of its many successes in inference tasks and denoising applications, Dictionary Learning (DL) and its related sparse optimization problems have garnered a lot of research interest. While most solutions have focused on single layer dictionaries, the improved recently proposed Deep DL (DDL) methods have also fallen short on a number of issues. We propose herein, a novel DDL approach where each DL layer can be formulated as a combination of one linear layer and a Recurrent Neural Network (RNN). The RNN is shown to flexibly account for the layer-associated and learned metric. Our proposed work unveils new insights into Neural Networks and DDL and provides a new, efficient and competitive approach to jointly learn a deep transform and a metric for inference applications. Extensive experiments are carried out to demonstrate that the proposed method can not only outperform existing DDL but also state-of-the-art generic CNNs.

研究动机与目标

• 为解决现有深度字典学习（DDL）方法通常缺乏判别能力与高效优化机制的局限性。
• 克服传统 DDL 与稀疏编码框架中的计算效率低下与梯度传播问题。
• 通过将学习到的度量嵌入基于 RNN 的迭代求解器中，实现深度字典学习与可微编程的统一。
• 通过端到端训练深度变换与自适应度量，提升特征表示与分类性能。
• 通过在深层中学习结构化、数据驱动的度量，提升对对抗性扰动的鲁棒性。

提出的方法

• DeTraMe-Net 的每一层将 DDL 问题分解为线性变换层与基于 RNN 的 Q-度量学习模块，用于建模学习到的度量。
• RNN 通过源自非光滑、非凸优化框架（采用学习到的度量 Q）的近端算子，迭代求解稀疏编码问题。
• 通过移位 ReLU 激活函数实现稀疏性，其来源于复合惩罚项（ℓ1 范数、非负性与二次正则化）的邻近算子。
• 网络通过反向传播进行端到端训练，线性层、RNN 与度量组件的参数联合优化。
• 通过将标准 ReLU 层替换为 Q-度量 ReLU 单元，该方法可推广至多种架构，包括 DeTraMe-PlainNet 与 DeTraMe-ResNet。
• RNN 经固定次数迭代（例如 2 次）展开，实现可微编程并支持通过时间的高效反向传播。

实验结果

研究问题

• RQ1 能否设计一种深度神经网络架构，以联合学习深度变换与数据自适应度量，从而提升分类性能？
• RQ2 如何在深度网络中利用 RNN 有效建模并优化字典学习中的学习到的度量？
• RQ3 将基于 RNN 的度量学习集成到 DDL 中，是否能在图像分类性能上超越标准 DDL 与通用 CNN？
• RQ4 所提出方法是否能比标准深度网络实现更好的对抗性扰动鲁棒性？
• RQ5 与传统迭代方法（如 FISTA）相比，基于可微 RNN 的求解器在收敛性与性能方面表现如何？

主要发现

• DeTraMe-Net 在图像分类基准上优于现有深度字典学习方法，展现出更强的判别能力。
• 该方法在标准图像分类数据集上达到最先进性能，超越通用卷积神经网络（CNN）。
• DeTraMe-Net 在对抗性攻击下表现出显著增强的鲁棒性，表明学习到的度量提升了泛化能力。
• 消融实验确认，基于 RNN 的 Q-度量学习集成对性能提升至关重要，尤其在深层架构中。
• 可微 RNN 公式化设计实现了稳定训练，避免了 DDL 中常见的初始化不良与梯度消失问题。
• 理论分析表明，基于 RNN 的更新规则等价于预处理的前向-后向分裂算法，确保收敛至最优稀疏表示。