[论文解读] Learning to reconstruct from saturated data: audio declipping and high-dynamic range imaging

Victor Sechaud, Laurent Jacques+2 more|arXiv (Cornell University)|Feb 25, 2026

Microwave Imaging and Scattering Analysis被引用 0

一句话总结

该论文将自监督学习扩展到非线性饱和测量的音频去削噪与HDR 成像，提供模型识别与信号恢复的理论，以及与有监督性能相匹配的尺度等变损失。

ABSTRACT

Learning based methods are now ubiquitous for solving inverse problems, but their deployment in real-world applications is often hindered by the lack of ground truth references for training. Recent self-supervised learning strategies offer a promising alternative, avoiding the need for ground truth. However, most existing methods are limited to linear inverse problems. This work extends self-supervised learning to the non-linear problem of recovering audio and images from clipped measurements, by assuming that the signal distribution is approximately invariant to changes in amplitude. We provide sufficient conditions for learning to reconstruct from saturated signals alone and a self-supervised loss that can be used to train reconstruction networks. Experiments on both audio and image data show that the proposed approach is almost as effective as fully supervised approaches, despite relying solely on clipped measurements for training.

研究动机与目标

• 在少量或缺乏地面实况训练数据的逆问题上提供动机。
• 开发一个仅从饱和测量中学习的自监督框架。
• 引入对幅度（尺度）的不变性，作为从裁剪数据学习的关键假设。
• 提供在剪裁条件下模型识别与信号恢复的理论条件。
• 在音频与图像数据上展示具有竞争力的性能。

提出的方法

• 提出一个自监督损失，结合测量一致性（MC）和幅度等变性（EI）。
• 用定制的逐元素 rho 函数定义 MC，以处理饱和和未饱和分量。
• 通过要求重构对正幅度缩放具有等变性（通过对尺度分布的期望损失实现）来强化 EI。
• 使用无偏置 U-Net 主干，以保持齐次性并支持尺度不变性。
• 引入掩模策略，将网络输出与测量混合，保留未饱和分量。
• 提供理论框架，包括模型识别和对饱和测量恢复的充分条件（定理1）。

实验结果

研究问题

• RQ1 在合理的先验和不变量下，是否可以仅从饱和测量中唯一标识信号集？
• RQ2 在识别出信号集后，是否能从饱和测量中唯一恢复信号？
• RQ3 幅度（尺度）不变性是否足以使从裁剪数据实现完全自监督学习？
• RQ4 对于能够以高概率保证饱和前向映射的单射性，测量与信号集合大小有哪些充分条件？

主要发现

• 该方法仅使用裁剪测量进行训练，就可实现接近完全有监督方法的重构性能。
• 该框架适用于音频与图像数据，展示了跨模态的通用性。
• 在给定条件下，幅度不变性（尺度）足以实现饱和信号的自监督学习。
• 无偏置网络有助于维持未饱和信号所需的尺度齐次性。
• 自监督损失结合测量一致性与等变性，在实践中能得到有效重构。
• 理论结果（如定理1）给出在随机高斯混合下、归一化集合具有低盒-计数维度时饱和测量映射的高概率单射性保证。