[論文レビュー] Learning to reconstruct from saturated data: audio declipping and high-dynamic range imaging

Victor Sechaud, Laurent Jacques+2 more|arXiv (Cornell University)|Feb 25, 2026

Microwave Imaging and Scattering Analysis被引用数 0

ひとこと要約

論文は自己教師付き学習を非線形飽和測定（音声デクリップとHDRイメージング）へ拡張し、モデル同定と信号復元の理論と、監視付き性能に一致する尺度等感性（スケール不変性）を持つ損失を提供する。

ABSTRACT

Learning based methods are now ubiquitous for solving inverse problems, but their deployment in real-world applications is often hindered by the lack of ground truth references for training. Recent self-supervised learning strategies offer a promising alternative, avoiding the need for ground truth. However, most existing methods are limited to linear inverse problems. This work extends self-supervised learning to the non-linear problem of recovering audio and images from clipped measurements, by assuming that the signal distribution is approximately invariant to changes in amplitude. We provide sufficient conditions for learning to reconstruct from saturated signals alone and a self-supervised loss that can be used to train reconstruction networks. Experiments on both audio and image data show that the proposed approach is almost as effective as fully supervised approaches, despite relying solely on clipped measurements for training.

研究の動機と目的

• 真の訓練データが不足または利用不能な逆問題を動機づける。
• 飽和測定のみから学習する自己教師付きフレームワークを開発する。
• クリップデータから学習するための重要な仮定として振幅（スケール）不変性を導入する。
• クリッピング下でのモデル同定と信号復元の理論条件を提供する。
• 音声と画像データの両方で競争力のある性能を示す。

提案手法

• 測定整合性（MC）と振幅等価性（EI）を組み合わせた自己教師付き損失を提案する。
• 飽和成分と非飽和成分を処理するための特化した要素ごとのrho関数を用いたMCを定義する。
• 復元が正の振幅スケーリングに対して同等になるようEIを課し、スケール分布に対する期待損失を介して実現する。
• 同型性を保持しスケール不変性をサポートするため、バイアスフリーなU-Netバックボーンを使用する。
• ネットワーク出力と測定を組み合わせるマスキング戦略を組み込み、非飽和成分を保持する。
• 飽和測定下での復元のためのモデル同定と十分条件（定理1）を含む理論的枠組みを提供する。

実験結果

リサーチクエスチョン

• RQ1 合理的な事前分布と不変性の下で、信号集合は飽和測定だけから一意に同定できるか？
• RQ2 信号集合が同定された後、飽和測定から信号を一意に復元できるか？
• RQ3 クリップデータから学習するためには振幅（スケール）不変性だけで十分か？
• RQ4 測定と信号集合サイズに関する十分条件は、飽和前方写像の単射性を高確率で保証するか？

主な発見

• 提案手法は、訓練データとして切り抜かれた測定のみを用いて、完全に監視付きアプローチに近い復元性能を達成する。
• 本フレームワークは音声データと画像データの両方に適用可能で、モダリティを横断した汎用性を示す。
• 振幅不変性（スケール）は、提供条件下で飽和信号の自己教師付き学習を可能にするのに十分である。
• バイアスフリーなネットワークは、非飽和信号に対して必要なスケール一様性を維持するのに有効である。
• 測定整合性と等価性を組み合わせた自己教師付き損失は、実践的に効果的な復元をもたらす。
• 理論結果（例：定理1）は、正規分布混合のランダム測定に対して、高確率の単射性保証を、正規化された集合のボックス計数次元が低い場合に提供する。