[논문 리뷰] Learning to reconstruct from saturated data: audio declipping and high-dynamic range imaging

Victor Sechaud, Laurent Jacques외 2명|arXiv (Cornell University)|2026. 02. 25.

Microwave Imaging and Scattering Analysis인용 수 0

한 줄 요약

본 논문은 자기지도 학습을 비선형 포화 측정에 확장하여 오디오 디클리핑 및 HDR 영상에서 모델 식별과 신호 복원 이론을 제공하고, 감독 학습과 유사한 성능을 보이는 스케일 등가성 손실을 제시한다.

ABSTRACT

Learning based methods are now ubiquitous for solving inverse problems, but their deployment in real-world applications is often hindered by the lack of ground truth references for training. Recent self-supervised learning strategies offer a promising alternative, avoiding the need for ground truth. However, most existing methods are limited to linear inverse problems. This work extends self-supervised learning to the non-linear problem of recovering audio and images from clipped measurements, by assuming that the signal distribution is approximately invariant to changes in amplitude. We provide sufficient conditions for learning to reconstruct from saturated signals alone and a self-supervised loss that can be used to train reconstruction networks. Experiments on both audio and image data show that the proposed approach is almost as effective as fully supervised approaches, despite relying solely on clipped measurements for training.

연구 동기 및 목표

• 실제 정답 학습 데이터가 희소하거나 이용 불가능한 역문제를 고무한다.
• 포화된 측정치만으로 학습하는 자기지도 프레임워크를 개발한다.
• 클리핑된 데이터로 학습하기 위한 핵심 가정으로 진폭(스케일)에 대한 불변성을 도입한다.
• 클리핑 하에서 모델 식별 및 신호 복원을 위한 이론적 조건을 제공한다.
• 오디오와 영상 데이터 모두에서 경쟁력 있는 성능을 보인다.

제안 방법

• 측정 일관성(MC)과 진폭 등가성(EI)을 결합한 자기지도 손실을 제안한다.
• 포화 및 포화되지 않은 성분을 처리하기 위해 맞춤형 요소별 rho 함수를 사용하여 MC를 정의한다.
• 양의 진폭 스케일링에 대해 재구성이 등가하도록 요구하여 EI를 강제하고, 스케일 분포에 대한 기대 손실을 통해 이를 실현한다.
• 편향이 없는 U-Net 백본을 사용하여 균질성을 보존하고 스케일 불변성을 지원한다.
• 측정치와 네트워크 출력을 혼합하는 마스킹 전략을 도입하여 포화되지 않은 성분을 보존한다.
• 포화된 측정에서의 복원을 위한 모델 식별 및 충분조건(정리 1)을 포함하는 이론적 프레임워크를 제시한다.

실험 결과

연구 질문

• RQ1 합리적인 사전 정보와 불변성 하에서 포화된 측정값만으로 신호 집합을 고유하게 식별할 수 있는가?
• RQ2 신호 집합이 식별되었을 때 포화된 측정값으로 신호를 고유하게 복원할 수 있는가?
• RQ3 진폭(스케일)에 대한 불변성이 클리핑된 데이터에서 완전히 자기지도 학습을 가능하게 하기에 충분한가?
• RQ4 높은 확률로 포화된 순방향 맵의 단사성을 보장하기 위한 측정 및 신호 집합 크기에 대한 충분조건은 무엇인가?

주요 결과

• 제안 방법은 학습에 포화된 측정값만을 사용하는 경우에도 완전한 지도 학습 방식에 근접한 재구성 성능을 달성한다.
• 이 프레임워크는 오디오와 이미지 데이터 모두에 적용되며 모달리티 간의 다재다능함을 보여준다.
• 주어진 조건 하에서 진폭 불변성(스케일)은 포화 신호에 대한 자기지도 학습을 가능하게 하는 데 충분하다.
• 편향이 없는 네트워크가 포화되지 않은 신호에 필요한 스케일 균질성을 유지하는 데 도움이 된다.
• 측정 일관성과 등가성을 결합한 자기지도 손실이 실제적으로 효과적인 재구성을 낳는다.
• 이론적 결과(예: 정리 1)는 정규화된 집합이 낮은 box-counting 차원을 가진 경우 임의 가우시안 혼합 하에서 포화 측정 맵의 고확률 단사성을 보장한다.