[논문 리뷰] TextIR: A Simple Framework for Text-based Editable Image Restoration

Yunpeng Bai, Cairong Wang외 4명|arXiv (Cornell University)|2023. 02. 28.

Advanced Image Processing Techniques인용 수 7

한 줄 요약

TextIR는 CLIP의 다중 모odal 특징 호환성을 활용하여 텍스트 설명과 열악한 이미지 특징을 융합함으로써 제어 가능한 복원을 구현하는 단순한 텍스트 유도 이미지 복원 프레임워크를 제안한다. 미세조정이 필요 없는 텍스트-이미지 쌍을 요구하지 않으며, 이미지 인painting, 초해상도, 색상화 등 다양한 복원 작업에서 최신 기술 수준의 성능을 달성한다. 사용자가 직접 텍스트 지시에 따라 영역을 제어적으로 편집할 수 있다.

ABSTRACT

Most existing image restoration methods use neural networks to learn strong image-level priors from huge data to estimate the lost information. However, these works still struggle in cases when images have severe information deficits. Introducing external priors or using reference images to provide information also have limitations in the application domain. In contrast, text input is more readily available and provides information with higher flexibility. In this work, we design an effective framework that allows the user to control the restoration process of degraded images with text descriptions. We use the text-image feature compatibility of the CLIP to alleviate the difficulty of fusing text and image features. Our framework can be used for various image restoration tasks, including image inpainting, image super-resolution, and image colorization. Extensive experiments demonstrate the effectiveness of our method.

연구 동기 및 목표

• 기존 이미지 복원 방법이 심각한 이미지 열악성 상황에서 강력한 이미지 사전 지식이 실패할 때의 한계를 해결하기 위해.
• 기존 참조 이미지나 도메인 특화 사전 지식에 의존하는 대신, 외부 지침으로서의 텍스트 설명을 도입하여 복원의 제어성과 유연성을 향상시키기 위해.
• 일관된 하나의 텍스트 조건 기반 아키텍처로 인painting, 초해상도, 색상화 등 다양한 복원 작업에 적용 가능한 통합 프레임워크를 제공하기 위해.
• 추가적인 텍스트-이미지 데이터에 대한 미세조정 없이도 CLIP의 사전 훈련된 다중 모달 임bedding 공간을 효과적으로 활용하여 텍스트와 이미지 특징을 융합하는 방법을 탐색하기 위해.

제안 방법

• TextIR는 열악한 이미지와 사용자가 제공한 텍스트 설명에서 각각 CLIP의 고정된 이미지 및 텍스트 인코더를 사용해 특징을 추출한다.
• CLIP의 공유 임베딩 공간을 활용해 텍스트와 이미지 특징을 정렬함으로써 특징 융합 중 의미적 호환성을 확보한다.
• 학습 가능한 어댑터 모듈을 통해 열악한 이미지 특징과 텍스트 조건 기반 특징을 융합하며, 이미지의 정체성을 유지하면서 복원을 이끌어낸다.
• 추가적인 텍스트-이미지 쌍 애너테이션 없이도, 사전 훈련된 CLIP 인코더에 의존하여 엔드 투 엔드로 훈련된다.
• 학습 가능한 스케일링 인자 's'는 열악한 이미지와 텍스트 사전 지식 간의 영향력을 조절하며, 열악성 정도에 맞게 적응한다.
• 정답 이미지의 CLIP 임베딩과 목표 텍스트 간의 보간을 통해 세밀하고 연속적인 이미지 편집이 가능하다.

실험 결과

연구 질문

• RQ1 기존 사전 지식이 실패하는 심각한 열악성 상황에서 텍스트 설명이 효과적으로 이미지 복원을 이끌 수 있는가?
• RQ2 텍스트-이미지 쌍 데이터셋이 필요 없이도 텍스트와 이미지 특징을 효과적으로 융합하여 제어 가능한 복원을 어떻게 달성할 수 있는가?
• RQ3 CLIP 기반의 단일 통합 프레임워크가 인painting, 초해상도, 색상화와 같은 다양한 이미지 복원 작업을 지원할 수 있는가?
• RQ4 참조 이미지 기반 또는 사전 지식 기반 방법에 비해 텍스트 지시가 복원 품질과 제어성에 얼마나 기여하는가?

주요 결과

• 인painting 작업에서 TextIR은 PSNR 29.83을 기록하며 Blended-Diffusion(23.16)을 크게 앞서며, SSIM(0.932 vs. 0.901)는 높고, LPIPS(0.068 vs. 0.226)는 낮다.
• 색상화 작업에서 TextIR은 L-CoDe를 모든 지표에서 능가한다: PSNR(26.70 vs. 24.965), SSIM(0.923 vs. 0.916), LPIPS(0.124 vs. 0.169).
• 초해상도 작업에서 TextIR은 Multi-Modal-CelebA-HQ 데이터셋에서 PSNR 27.41, SSIM 0.784를 기록하며, GPEN(26.82 및 0.704)을 능가한다.
• 제거 분석 결과, 스케일링 인자 's'가 열악한 이미지와 텍스트 사전 지식 간의 영향력을 효과적으로 조절하며, 심각한 열악성에서는 텍스트가 더 강한 영향을 미친다.
• CLIP 임베딩 간의 보간은 부드럽고 연속적인 이미지 편집을 가능하게 하여 복원 강도에 대한 세밀한 제어를 보여준다.
• TextIR은 열악화 후 복원하는 방식으로 효과적인 텍스트 기반 이미지 편집을 가능하게 하며, StyleCLIP와 같은 전역 편집 방법보다 정체성 보존 성능이 뛰어나다.