[论文解读] Improving Robustness of Deep-Learning-Based Image Reconstruction

Ankit Raj, Yoram Bresler+1 more|arXiv (Cornell University)|Feb 26, 2020

Adversarial Robustness in Machine Learning参考文献 44被引用 15

一句话总结

本文提出一种极小-极大对抗训练框架，通过在测量空间（y空间）而非信号空间（x空间）生成对抗样本，以提升基于深度学习的图像重建的鲁棒性。该方法在训练过程中使用辅助网络生成扰动，得到一种奇异值滤波的解，从而抑制病态条件的影响，显著提升在线性与非线性网络上的压缩感知任务中的鲁棒性，且在良性和病态条件的测量矩阵之间观察到定性差异。

ABSTRACT

Deep-learning-based methods for different applications have been shown vulnerable to adversarial examples. These examples make deployment of such models in safety-critical tasks questionable. Use of deep neural networks as inverse problem solvers has generated much excitement for medical imaging including CT and MRI, but recently a similar vulnerability has also been demonstrated for these tasks. We show that for such inverse problem solvers, one should analyze and study the effect of adversaries in the measurement-space, instead of the signal-space as in previous work. In this paper, we propose to modify the training strategy of end-to-end deep-learning-based inverse problem solvers to improve robustness. We introduce an auxiliary network to generate adversarial examples, which is used in a min-max formulation to build robust image reconstruction networks. Theoretically, we show for a linear reconstruction scheme the min-max formulation results in a singular-value(s) filter regularized solution, which suppresses the effect of adversarial examples occurring because of ill-conditioning in the measurement matrix. We find that a linear network using the proposed min-max learning scheme indeed converges to the same solution. In addition, for non-linear Compressed Sensing (CS) reconstruction using deep networks, we show significant improvement in robustness using the proposed approach over other methods. We complement the theory by experiments for CS on two different datasets and evaluate the effect of increasing perturbations on trained networks. We find the behavior for ill-conditioned and well-conditioned measurement matrices to be qualitatively different.

研究动机与目标

• 为解决基于深度学习的图像重建网络在安全关键性医学成像中对对抗扰动的脆弱性。
• 论证由于图像重建的逆问题本质，对抗鲁棒性应分析并提升于测量空间（y空间），而非信号空间（x空间）。
• 开发一种基于辅助网络在训练过程中生成对抗样本的极小-极大训练框架，以增强鲁棒性。
• 从理论上和实证上验证所提方法可导出一种奇异值滤波的解，从而抑制病态测量矩阵带来的不稳定性。
• 在不同压缩感知数据集和测量矩阵条件（良性和病态条件）下，展示鲁棒性的提升。

提出的方法

• 提出一种极小-极大对抗训练公式，其中生成器网络在训练过程中于测量空间（y）生成对抗扰动。
• 使用辅助网络生成使重建误差最大化的扰动，而主重建网络则被训练以最小化该误差。
• 理论分析表明，对于线性重建，极小-极大公式可导出一种奇异值滤波正则化的解，从而稳定病态逆问题。
• 通过端到端训练将该方法扩展至非线性深度网络，其中对抗样本在y空间中生成。
• 优化问题在约束下被表述为凸规划，通过拉格朗日松弛推导出最优解结构。
• 实证验证使用两个压缩感知数据集，比较在良性和病态测量矩阵下，不同扰动水平下的鲁棒性表现。

实验结果

研究问题

• RQ1 当扰动在测量空间（y）而非信号空间（x）中生成时，图像重建中的对抗鲁棒性是否得到提升？
• RQ2 带有辅助生成器的极小-极大训练框架是否可在线性重建中产生奇异值滤波的解，从而提升鲁棒性？
• RQ3 与标准对抗训练或非对抗基线方法相比，该方法在非线性深度网络中的鲁棒性表现如何？
• RQ4 在对抗扰动下，良性和病态测量矩阵之间的鲁棒性行为存在何种定性差异？
• RQ5 线性情况下的理论收敛性是否可在非线性深度网络设置中得到实证验证？

主要发现

• 所提出的极小-极大训练框架显著提升了深度图像重建网络的鲁棒性，尤其在测量空间中的对抗扰动下表现突出。
• 对于线性重建，该方法收敛至奇异值滤波的解，理论上可抑制测量矩阵病态条件的影响。
• 实证结果表明，该方法在两个压缩感知数据集上，无论定性还是定量指标，均优于标准对抗训练和基线方法。
• 在良性和病态测量矩阵下，重建网络的行为存在定性差异，后者在缺乏鲁棒训练时对扰动表现出更高的敏感性。
• 辅助生成器成功生成了有效的对抗样本，显著提升了主重建网络在端到端训练中的鲁棒性。
• 理论分析证实，极小-极大公式的最优解对应一种带有奇异值滤波的正则化解，为该方法提供了坚实的理论基础。