[论文解读] The troublesome kernel: why deep learning for inverse problems is typically unstable.

Nina Maria Gottschling, Vegard Antun+2 more|arXiv (Cornell University)|Jan 5, 2020

Sparse and Compressive Sensing Techniques参考文献 48被引用 66

一句话总结

本文提供了严格的数学分析，解释了为何在成像反问题中，深度学习（DL）方法通常在随机噪声下仍不稳定。研究揭示，高重建精度往往以牺牲稳定性为代价，且训练神经网络未必能获得最优的重建方法，从而挑战了‘深度学习总是提升性能’的假设。

ABSTRACT

There is overwhelming empirical evidence that Deep Learning (DL) leads to unstable methods in applications ranging from image classification and computer vision to voice recognition and automated diagnosis in medicine. Recently, a similar instability phenomenon has been discovered when DL is used to solve certain problems in computational science, namely, inverse problems in imaging. In this paper we present a comprehensive mathematical analysis explaining the many facets of the instability phenomenon in DL for inverse problems. Our main results not only explain why this phenomenon occurs, they also shed light as to why finding a cure for instabilities is so difficult in practice. Additionally, these theorems show that instabilities are typically not rare events - rather, they can occur even when the measurements are subject to completely random noise - and consequently how easy it can be to destablise certain trained neural networks. We also examine the delicate balance between reconstruction performance and stability, and in particular, how DL methods may outperform state-of-the-art sparse regularization methods, but at the cost of instability. Finally, we demonstrate a counterintuitive phenomenon: training a neural network may generically not yield an optimal reconstruction method for an inverse problem.

研究动机与目标

• 理解应用于成像反问题的深度学习方法不稳定的根源原因。
• 研究即使测量数据仅受随机噪声污染，不稳定性为何仍持续存在。
• 分析基于深度学习的求解器在高重建性能与数值不稳定性之间的权衡。
• 挑战‘训练神经网络总会为反问题带来最优重建方法’的假设。
• 提供理论洞见，解释为何在实践中治愈深度学习反问题中的不稳定性如此困难。

提出的方法

• 对用于反问题的深度学习模型进行综合数学分析，重点关注优化、泛化与稳定性的相互作用。
• 运用正则化理论与稳定性分析的理论框架，刻画训练后神经网络在不适定反问题中的行为。
• 分析神经网络输出对输入数据微小扰动的敏感性，特别是在随机噪声条件下的表现。
• 将深度学习方法与经典稀疏正则化技术在性能与稳定性方面进行对比。
• 推导出即使输入扰动极小，神经网络仍可能实现高精度但保持不稳定的条件。
• 证明由于精度与鲁棒性之间固有的权衡，训练并不能保证获得最优重建。

实验结果

研究问题

• RQ1 为何深度学习方法在反问题中即使输入数据仅含随机噪声，仍表现出不稳定性？
• RQ2 深度学习中高重建精度在多大程度上以数值不稳定性为代价？
• RQ3 为何尽管经过大量训练，设计稳定的深度学习模型用于反问题仍如此困难？
• RQ4 即使在训练数据上表现良好，训练后的神经网络是否仍可能不是反问题的最优重建方法？
• RQ5 深度学习方法在反问题中的稳定性与经典稀疏正则化技术相比如何？

主要发现

• 深度学习在反问题中的不稳定性并非罕见现象，而是一种普遍现象，即使测量数据完全随机噪声也是如此。
• 深度学习模型的高重建性能通常与严重的不稳定性并存，表明精度与鲁棒性之间存在根本性权衡。
• 训练神经网络不必然导致反问题的最优重建方法，挑战了‘性能更好即更稳定’的假设。
• 理论分析表明，不稳定性源于深度网络学习将噪声输入映射到解的方式，使其对输入微小扰动高度敏感。
• 即使底层反问题为适定问题，稳定性也无法保证，原因在于深度神经网络的归纳偏置。
• 本文证明，神经网络极易因微小的随机扰动而失稳，凸显了当前基于深度学习求解器的脆弱性。