[논문 리뷰] Residual Contrastive Learning for Joint Demosaicking and Denoising.

Nanqing Dong, Matteo Maggioni외 4명|arXiv (Cornell University)|2021. 06. 18.

Seismic Imaging and Inversion Techniques참고 문헌 36인용 수 12

한 줄 요약

이 논문은 신호에 따라 변하는 잡음 특성(의존성 잡음 특성)을 활용하여 RAW 이미지에서 동시 다이모자이킹과 노이즈 제거(JDD)를 위한 새로운 자기지도 학습 방법인 잔차 대비 학습(RCL)을 제안한다. 같은 이미지에서 추출한 조각들을 대비하여 잔차를 사용하고, 지구 이동 거리(EMD)를 적용함으로써, 잡음 분포 간의 유사도를 측정함으로써, 알려지지 않은 잡음 분산 조건 하에서 비지도 JDD 작업에서 새로운 SOTA 기준을 확립한다. 이는 RAW 도메인의 저수준 시각 작업에 대비 학습 기법의 타당성을 입증한다.

ABSTRACT

The breakthrough of contrastive learning (CL) has fueled the recent success of self-supervised learning (SSL) in high-level vision tasks on RGB images. However, CL is still ill-defined for low-level vision tasks, such as joint demosaicking and denoising (JDD), in the RAW domain. To bridge this methodological gap, we present a novel CL approach on RAW images, residual contrastive learning (RCL), which aims to learn meaningful representations for JDD. Our work is built on the assumption that noise contained in each RAW image is signal-dependent, thus two crops from the same RAW image should have more similar noise distribution than two crops from different RAW images. We use residuals as a discriminative feature and the earth mover's distance to measure the distribution divergence for the contrastive loss. To evaluate the proposed CL strategy, we simulate a series of unsupervised JDD experiments with large-scale data corrupted by synthetic signal-dependent noise, where we set a new benchmark for unsupervised JDD tasks with unknown (random) noise variance. Our empirical study not only validates that CL can be applied on distributions (c.f. features), but also exposes the lack of robustness of previous non-ML and SSL JDD methods when the statistics of the noise are unknown, thus providing some further insight into signal-dependent noise problems.

연구 동기 및 목표

• RAW 도메인에서 저수준 시각 작업, 예를 들어 동시 다이모자이킹 및 노이즈 제거(JDD)에 효과적인 자기지도 학습 방법의 부족을 해결한다.
• 기존 비머신러닝(Non-ML) 및 자기지도 학습(SSL) 방법의 강건성을 떨어뜨리는, 비지도 JDD에서 알려지지 않은 또는 무작위로 변하는 잡음 분산 문제를 극복한다.
• 신호에 따라 변하는 잡음 특성을 활용하여 RAW 이미지 분포에 특화된 대비 학습 프레임워크를 개발한다.
• 대규모 데이터에서 합성된 신호에 따라 변하는 잡음으로 인한 훈련 데이터를 활용하여, 알려지지 않은 잡음 분산 조건 하에서 비지도 JDD의 새로운 기준을 설정한다.
• 대비 학습이 특징 임베딩 외에도 잡음 분포에 의미 있게 적용될 수 있음을 검증한다.

제안 방법

• RAW 이미지의 JDD 작업에 특화된 대비 학습 프레임워크인 잔차 대비 학습(RCL)을 제안한다.
• 동일한 RAW 이미지에서 추출한 잔차를 양성 쌍(positive pairs)으로 사용하며, 이는 신호에 따라 변하는 잡음 특성으로 인해 유사한 잡음 분포를 공유할 것임을 가정한다.
• 지구 이동 거리(EMD)를 사용하여 동일한 이미지의 잔차(양성 쌍)와 다른 이미지의 잔차(음성 쌍) 간의 분포 차이를 측정한다.
• 동일한 이미지에서 온 잔차(양성)와 다른 이미지에서 온 잔차(음성) 간의 EMD를 기반으로 한 대비 손실 함수를 제안하여, 구분 가능한 표현 학습을 유도한다.
• 쌍이 없는 감독 없이도 RAW 센서 데이터로부터 동시에 다이모자이킹과 노이즈 제거를 학습할 수 있도록, RCL 손실을 기반으로 딥 네트워크를 엔드 투 엔드로 훈련한다.
• 실제적인 알려지지 않은 잡음 분산 조건 하에서 성능 평가를 위해, 합성된 신호에 따라 변하는 잡음을 포함한 대규모 비지도 JDD 데이터를 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 저수준 시각 작업에서 RAW 이미지의 잡음 분포에 대비 학습을 효과적으로 적용할 수 있는가?
• RQ2 신호에 따라 변하는 잡음 특성을 활용하면 동시 다이모자이킹 및 노이즈 제거를 위한 표현 학습이 향상되는가?
• RQ3 잡음 통계가 알려지지 않거나 변동성이 클 경우, RCL는 기존의 비머신러닝 및 SSL 방법보다 어떻게 성능을 내는가?
• RQ4 자기지도 대비 학습 접근법이 알려지지 않은 잡음 분산 조건 하에서 비지도 JDD에서 최신 기준(SOTA) 성능을 달성할 수 있는가?
• RQ5 잔차와 EMD를 대비 손실 메커니즘으로 사용할 경우, RAW 이미지 복원에서 표현 품질에 어떤 영향을 미치는가?

주요 결과

• RCL는 알려지지 않은 또는 무작위로 변하는 잡음 분산 조건 하에서 비지도 동시 다이모자이킹 및 노이즈 제거에 대해 새로운 SOTA 기준을 설정한다.
• 이 방법은 대비 학습이 특징 임베딩 외에도 잡음 분포에 효과적으로 적용될 수 있음을 입증하며, 저수준 시각 작업에서 강건한 표현 학습이 가능함을 보여준다.
• 실험 결과에 따르면, 기존의 비머신러닝 및 SSL 방법은 잡음 통계가 알려지지 않았을 경우에 상당히 취약함을 확인하였으며, 이는 기존 접근법의 핵심적 한계를 드러낸다.
• 잔차를 분류 가능한 특징으로 사용함으로써 의미 있는 잡음 패턴을 포착하고, 대비 손실의 구분 능력을 향상시킨다.
• 지구 이동 거리(EMD)는 잔차 간의 분포 차이를 효과적으로 측정하여 안정적이고 의미 있는 대비 최적화를 가능하게 한다.
• 제안된 RCL 프레임워크는 신호에 따라 변하는 잡음이 포함된 대규모 합성 데이터에 대해 잘 일반화되며, 이는 그 확장성과 강건성을 검증한다.