[논문 리뷰] Image Super-Resolution with Text Prompt Diffusion

Zheng Chen, Yulun Zhang외 5명|arXiv (Cornell University)|2023. 11. 24.

Advanced Image Processing Techniques인용 수 6

한 줄 요약

이 논문은 합성 및 실제 세계 시나리오에서 재구성 품질을 향상시키기 위해 임의의 텍스트 프롬프트를 왜곡 사전으로 활용하는 새로운 이미지 슈퍼레졸루션 방법인 PromptSR을 소개한다. 사전에 훈련된 언어 모델(예: T5, CLIP)의 텍스트 임베딩에 조건이 되는 확산 모델을 사용하고, 분할 기반 왜곡 표현을 통해 생성된 텍스트-이미지 데이터셋에서 훈련함으로써, PromptSR은 실제 세계 벤치마크에서 기존의 Real-ESRGAN, SwinIR-GAN, DiffBIR 등의 방법들을 능가하는 최신 기술 수준(SOTA)의 성능을 달성한다. 특히 인지적 및 미적 지표에서 뛰어난 성능을 보인다.

ABSTRACT

Image super-resolution (SR) methods typically model degradation to improve reconstruction accuracy in complex and unknown degradation scenarios. However, extracting degradation information from low-resolution images is challenging, which limits the model performance. To boost image SR performance, one feasible approach is to introduce additional priors. Inspired by advancements in multi-modal methods and text prompt image processing, we introduce text prompts to image SR to provide degradation priors. Specifically, we first design a text-image generation pipeline to integrate text into the SR dataset through the text degradation representation and degradation model. By adopting a discrete design, the text representation is flexible and user-friendly. Meanwhile, we propose the PromptSR to realize the text prompt SR. The PromptSR leverages the latest multi-modal large language model (MLLM) to generate prompts from low-resolution images. It also utilizes the pre-trained language model (e.g., T5 or CLIP) to enhance text comprehension. We train the PromptSR on the text-image dataset. Extensive experiments indicate that introducing text prompts into SR, yields impressive results on both synthetic and real-world images. Code: https://github.com/zhengchen1999/PromptSR.

연구 동기 및 목표

• 복잡하고 알려지지 않은 왜곡 조건에서 이미지 슈퍼레졸루션(SR)의 일반화 능력이 제한된 문제를 해결한다.
• 저해상도(LR) 이미지에서만 왜곡 정보를 추출하는 데 어려움이 있음을 극복하기 위해 외부 사전을 도입한다.
• 자연어 기술 기술을 활용해 왜곡 패턴을 표현하고 SR 성능을 향상시키는 가능성 탐색한다.
• 텍스트와 이미지 생성을 통합한 통합 프레임워크를 개발하여 강력한 SR 모델을 훈련시킨다.
• 기술적 설명 프롬프트를 통해 특정 왜곡 유형에 대한 재학습 없이도 제로샷 또는 희소샷 적응을 가능하게 한다.

제안 방법

• 왜곡 유형(예: 블러, 노이즈 등)을 추상적이고 유연한 텍스트 기술로 표현하기 위해 분할 기반 이산화 방법을 제안한다.
• 왜곡 모델을 사용하여 합성된 고해상도(HR)-저해상도(LR) 이미지 쌍과 해당 왜곡 텍스트 프롬프트를 연결하는 텍스트-이미지 생성 파이프라인을 설계한다.
• 사전에 훈련된 언어 모델(T5, CLIP)의 텍스트 임베딩과 함께 저해상도 이미지에 조건이 되는 확산 모델을 훈련하여 고해상도 출력을 생성한다.
• 교차 어텐션 메커니즘을 통해 텍스트 임베딩을 확산 모델에 통합하여 노이즈 제거 과정을 안내한다.
• 훈련 중 사전에 훈련된 언어 모델을 고정하고, 생성된 텍스트-이미지 데이터셋에서 오직 확산 모델만 미세조정한다.
• 고정밀도 및 현실적인 이미지 생성을 위해 L1, 인지적, 적대적 등의 다중 손실 함수를 활용하여 확산 모델을 최적화한다.

실험 결과

연구 질문

• RQ1 복잡하고 알려지지 않은 왜곡 상황에서 텍스트 프롬프트가 왜곡 사전으로 효과적으로 기능하여 이미지 슈퍼레졸루션 성능을 향상시킬 수 있는가?
• RQ2 종래의 엔드 투 엔드 학습된 표현 방식과 비교해 봤을 때, 분할 기반 텍스트 표현 방식은 일반화 능력과 유연성 측면에서 어떻게 다른가?
• RQ3 확산 기반 SR과 결합했을 때, 사전에 훈련된 언어 모델(T5, CLIP)이 왜곡 사전을 모델링하는 데 얼마나 기여하는가?
• RQ4 텍스트 가이던스를 도입했을 때, 실제 세계 이미지 슈퍼레졸루션 벤치마크에서 인지적 품질과 현실감 향상이 실제로 측정 가능한가?
• RQ5 제안된 방법은 특정 왜곡 유형에 대한 재학습 없이도 다양한 실제 세계 왜곡에 일반화될 수 있는가?

주요 결과

• RealSR 벤치마크에서 ST-LPIPS(0.1937), CNNIQA(0.6376), NIMA(4.8917) 측면에서 최고 성능을 기록하여 인지적 및 미적 품질이 뛰어나다는 것을 입증한다.
• RealSR 데이터셋에서 PromptSR는 PSNR: 25.62인 Real-ESRGAN+, PSNR: 26.54인 SwinIR-GAN, PSNR: 27.42인 DiffBIR보다 LPIPS 및 DISTS 등의 주요 인지적 지표에서 뛰어난 성능을 보인다.
• 시각적 비교 결과, PromptSR는 블러를 유발하는 Stable Diffusion나 아티팩트를 추가하는 FeMaSR와 비교해 더 선명한 질감과 더 적은 잡음으로 결과를 생성한다.
• 그림 6의 세 번째 예시에서 PromptSR는 다른 방법들이 블러되거나 잘못된 결과를 낼 때, 네 개의 구분 가능한 기타 strings를 성공적으로 복원한다.
• 실제 세계 데이터, 특히 Real45 데이터셋에 대해서도 잘 일반화되어 있으며, 명시적 재학습 없이도 다양한 알려지지 않은 왜곡에 대해 강건함을 입증한다.
• 절단 실험 결과, 텍스트 프롬프트 가이던스가 특히 과도한 실제 세계 상황에서 재구성 정밀도를 크게 향상시킨다는 것이 확인된다.