[논문 리뷰] SAM-DiffSR: Structure-Modulated Diffusion Model for Image Super-Resolution

Chengcheng Wang, Zhiwei Hao외 5명|arXiv (Cornell University)|2024. 02. 27.

Photoacoustic and Ultrasonic Imaging인용 수 4

한 줄 요약

이 논문은 이미지 초해상도를 위한 구조 조절형 확산 모델인 SAM-DiffSR를 제안한다. 이 모델은 Segment Anything Model(SAM)에서 유도한 세분화된 세그먼테이션 마스크를 활용하여 전방 확산 과정 중 노이즈 조절을 유도한다. SAM 마스크에 구조적 위치 정보를 인코딩하고, 이를 바탕으로 각 영역별로 독립적으로 노이즈 평균을 조정함으로써, 추가적인 추론 비용 없이도 텍스처 및 구조의 정확성을 향상시킨다. 이로 인해 DIV2K 데이터셋에서 기존의 확산 기반 방법들보다 PSNR가 0.74 dB 향상되었다.

ABSTRACT

Diffusion-based super-resolution (SR) models have recently garnered significant attention due to their potent restoration capabilities. But conventional diffusion models perform noise sampling from a single distribution, constraining their ability to handle real-world scenes and complex textures across semantic regions. With the success of segment anything model (SAM), generating sufficiently fine-grained region masks can enhance the detail recovery of diffusion-based SR model. However, directly integrating SAM into SR models will result in much higher computational cost. In this paper, we propose the SAM-DiffSR model, which can utilize the fine-grained structure information from SAM in the process of sampling noise to improve the image quality without additional computational cost during inference. In the process of training, we encode structural position information into the segmentation mask from SAM. Then the encoded mask is integrated into the forward diffusion process by modulating it to the sampled noise. This adjustment allows us to independently adapt the noise mean within each corresponding segmentation area. The diffusion model is trained to estimate this modulated noise. Crucially, our proposed framework does NOT change the reverse diffusion process and does NOT require SAM at inference. Experimental results demonstrate the effectiveness of our proposed method, showcasing superior performance in suppressing artifacts, and surpassing existing diffusion-based methods by 0.74 dB at the maximum in terms of PSNR on DIV2K dataset. The code and dataset are available at https://github.com/lose4578/SAM-DiffSR.

연구 동기 및 목표

• 일관된 노이즈 샘플링으로 인해 다양한 의미적 영역에서 복잡한 텍스처와 구조를 처리하는 데에 한계를 가진 기존의 확산 모델의 문제를 해결하기 위해.
• 기존의 초해상도 기반 확산 모델에 세분화된 구조 정보를 통합하여 복원 품질을 향상시키기 위해.
• 추론 시 추가적인 계산 비용 없이도 SAM의 세그먼테이션 능력을 활용하는 방법을 개발하기 위해.
• 전방 확산 과정 중에 지역별로 노이즈를 조절할 수 있도록 하여 국소적인 구조와 텍스처 복구를 향상시키기 위해.
• 학습 중에 구조 지식을 통합하면서도 기존의 역방향 확산 과정과 호환성을 유지하기 위해.

제안 방법

• 학습 데이터셋 내 각 고해상도(HR) 이미지에 대해 Segment Anything Model(SAM)를 사용하여 고품질의 세그먼테이션 마스크를 사전에 생성한다.
• 2D 위치 정보를 Rotary Position Embedding(RoPE)를 사용하여 SAM 마스크에 통합하는 Structural Position Encoding(SPE) 모듈을 도입한다.
• 전방 확산 과정에서 SPE로 인코딩된 마스크를 적용하여 세그먼트된 영역 별로 독립적으로 노이즈 평균을 조절한다.
• U-Net 노이즈 제거 모델을 조정된 노이즈를 예측하도록 훈련시켜, 구조 인식 기반 세부 정보 복원을 효과적으로 학습시킨다.
• 모든 훈련 에포크 동안 사전 생성된 SAM 마스크를 재사용하여 추가적인 훈련 비용을 최소화한다.
• 최종 모델이 추론 시 SAM이 필요 없도록 하여 추론 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 SAM에서 유도한 세분화된 구조 정보를 어떻게 효과적으로 확산 과정에 통합하여 이미지 초해상도를 향상시킬 수 있는가?
• RQ2 세그먼테이션 마스크의 품질이 확산 기반 초해상도 모델의 성능에 어떤 영향을 미치는가?
• RQ3 전방 확산 과정 중에 구조 인식 기반 노이즈 조절을 통해 텍스처 및 구조의 정확성을 향상시킬 수 있는가? 이때 추론 비용은 증가하지 않는다.
• RQ4 위치 인코딩 방법의 선택이 모델이 구조적 세부 정보를 정확히 국소화하는 데 미치는 영향은 어떠한가?
• RQ5 제안된 방법이 PSNR, SSIM 및 아티팩트 억제 측면에서 기존의 확산 기반 초해상도 접근 방식을 능가하는가?

주요 결과

• SAM-DiffSR는 DIV2K 데이터셋에서 기존의 확산 기반 방법들보다 PSNR가 0.74 dB 향상되어 최신 기술 수준의 성능을 입증하였다.
• 정량적 아티팩트 맵 점수와 정성적 시각적 비교를 통해 아티팩트가 크게 감소한 것으로 확인되었다.
• 원본 SAM에서 유도한 고품질의 세그먼테이션 마스크는 뛰어난 성능을 보였으며, Urban100에서 PSNR가 저품질일 경우 25.33에서 고품질일 경우 25.54로 향상되었다.
• RoPE를 사용한 구조적 위치 인코딩이 코사인 또는 선형 인코딩보다 우수한 성능을 보였으며, Urban100에서 PSNR가 0.23 dB 향상되었다.
• 정량적 결과는 모든 데이터셋에서 SSIM과 FID가 일관되게 향상되어, 향상된 인지적 품질과 다양성을 확인했다.
• 이러한 성과는 역방향 확산 과정을 수정하지 않으며, 추론 시 SAM이 필요 없도록 하여 추가적인 추론 비용 없이 달성되었다.