[论文解读] Inverse Problems, Deep Learning, and Symmetry Breaking

Kshitij Tayal, Chieh-Hsin Lai+2 more|arXiv (Cornell University)|Mar 20, 2020

Advanced X-ray Imaging Techniques参考文献 27被引用 11

一句话总结

本文针对在具有固有对称性的系统（如相位恢复和盲去卷积）中训练深度神经网络求解反问题时面临的挑战，即多个输入映射到同一输出，导致解不唯一。本文提出通过使用等价类的连通代表集进行数据增强来打破对称性，显著提升了端到端训练的学习效率和性能。

ABSTRACT

In many physical systems, inputs related by intrinsic system symmetries are mapped to the same output. When inverting such systems, i.e., solving the associated inverse problems, there is no unique solution. This causes fundamental difficulties for deploying the emerging end-to-end deep learning approach. Using the generalized phase retrieval problem as an illustrative example, we show that careful symmetry breaking on the training data can help get rid of the difficulties and significantly improve the learning performance. We also extract and highlight the underlying mathematical principle of the proposed solution, which is directly applicable to other inverse problems.

研究动机与目标

• 解决端到端深度学习在反问题中因前向模型的对称性导致解不唯一而带来的根本性困难。
• 证明深度学习中泛化性能差并非源于模型容量或超参数选择，而是源于对称性诱导的高振荡函数逼近的内在挑战。
• 开发并验证一种系统化的对称性打破方法，以提升相位恢复等反问题中的学习效率和性能。
• 揭示一个通用的数学原理——为等价类寻找连通代表集——可广泛适用于各类反问题。

提出的方法

• 通过在系统对称群作用下，从每个等价类中构建输入的代表性集合，确保覆盖全面且无冗余，实现对称性打破。
• 利用数据增强技术在这些代表性输入上训练网络，有效消除损失曲面中由对称性引起的退化。
• 将反问题建模为从观测值到输入的映射学习，其中训练数据通过代表性采样方式打破对称性。
• 将该方法应用于广义相位恢复（实数与复高斯情形），并使用合成数据和受控数据评估性能。
• 在对称性打破后的数据上端到端训练神经网络架构，并与标准训练方法和基线方法进行比较。
• 分析小批量大小、学习率和正则化的影响，以确认性能差的根本原因是对称性诱导的振荡，而非超参数选择。

实验结果

研究问题

• RQ1 为何在数据充足且模型容量足够的情况下，端到端深度学习在具有内在对称性的反问题中仍无法泛化？
• RQ2 在训练数据中引入对称性打破是否能显著提升相位恢复等反问题中的学习性能？
• RQ3 在反问题中实现有效对称性打破的底层数学原理是什么？
• RQ4 深度学习中的性能下降是源于超参数调优不佳，还是源于对称性引起的振荡函数逼近的内在困难？
• RQ5 所提出的对称性打破策略能否推广到相位恢复之外的其他反问题？

主要发现

• 在未进行对称性打破的情况下训练的神经网络无法泛化，且性能甚至劣于简单的基线方法，即使训练集规模很大。
• 性能差并非由于学习率、小批量大小或正则化等超参数选择不佳，因为这些因素对测试误差的影响可忽略不计。
• 通过对等价类进行代表性采样实现的对称性打破，可在不同维度和问题类型下显著且一致地降低测试误差。
• 与标准端到端训练相比，该方法在高维设置中表现更优，尤其在对称性引起的振荡最为严重的情况下。
• 其底层原理——为等价类寻找连通代表集——提供了一个适用于广泛对称反问题的通用框架。
• 大量实验验证，核心问题在于对称性引起的非唯一性，而非数据稀缺或优化不稳定性。