[논문 리뷰] Priors in Deep Image Restoration and Enhancement: A Survey

Yunfan Lu, Yiqi Lin외 5명|arXiv (Cornell University)|2022. 06. 04.

Advanced Image Processing Techniques인용 수 4

한 줄 요약

이 종합적 서베이는 딥 뷰 이미지 복원 및 향상 분야에서 사전 지식(priors)에 대한 최초의 종합적 분석을 제공하며, 이를 구조, 통계, 의미론, 딥러닝 기반 사전 지식으로 분류한다. 계층적 분류 체계를 제안하고 원리와 응용 사례를 논의하며, 향후 연구 방향을 밝히며 특히 CLIP 및 스테ble 디퓨전과 같은 대규모 기초 모델을 활용하는 것이 이 분야의 발전을 이끄는 핵심 요소임을 강조한다.

ABSTRACT

Image restoration and enhancement is a process of improving the image quality by removing degradations, such as noise, blur, and resolution degradation. Deep learning (DL) has recently been applied to image restoration and enhancement. Due to its ill-posed property, plenty of works have been explored priors to facilitate training deep neural networks (DNNs). However, the importance of priors has not been systematically studied and analyzed by far in the research community. Therefore, this paper serves as the first study that provides a comprehensive overview of recent advancements in priors for deep image restoration and enhancement. Our work covers five primary contents: (1) A theoretical analysis of priors for deep image restoration and enhancement; (2) A hierarchical and structural taxonomy of priors commonly used in the DL-based methods; (3) An insightful discussion on each prior regarding its principle, potential, and applications; (4) A summary of crucial problems by highlighting the potential future directions, especially adopting the large-scale foundation models as prior, to spark more research in the community; (5) An open-source repository that provides a taxonomy of all mentioned works and code links.

연구 동기 및 목표

• 딥 러닝 기반 이미지 복원 및 향상에 사용되는 사전 지식들을 체계적으로 분석하고 분류하는 것.
• 구조, 통계, 의미론, 딥러닝 기반 사전 지식을 포함한 계층적이고 체계적인 사전 지식 분류 체계를 수립하는 것.
• 각 사전 지식 유형의 원리, 강점, 응용 사례에 대한 깊이 있는 논의를 제공하는 것.
• 핵심 과제와 향후 연구 방향을 특정화하는 것—특히 대규모 기초 모델을 사전 지식으로 통합하는 것.
• 모든 참조된 논문과 코드 링크를 포함한 분류 체계를 포함한 오픈소스 레포지터리를 공개하여 재현 가능성을 확보하는 것.

제안 방법

• 구조, 통계, 의미론, 딥러닝 기반 사전 지식으로 구성된 네 가지 카테고리의 분류 체계를 제안하며, 이는 10개의 하위 카테고리로 구성된다.
• 부정확한 이미지 복원 문제의 맥락에서 사전 지식의 이론적 기초를 분석한다.
• 伝통적 이미지 처리 분야의 이전 연구를 검토하고, 이를 딥러닝 프레임워크에 대응시킨다.
• 사전 훈련된 GAN과 잠재공간 최적화를 활용한 이미지 생성 및 복원 기법을 분석한다.
• 대규모 기초 모델(예: CLIP, Stable Diffusion, SAM)이 제로샷 및 패기샷 이미지 복원에 있어 의미론적 사전 지식으로서의 잠재력을 탐색한다.
• Visual ChatGPT와 같은 모델을 활용해 텍스트 지시어 등의 다중모odal 입력을 통한 상호작용식 이미지 향상 프레임워크를 제안한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 이미지 복원 및 향상 분야에서 사전 지식들을 어떻게 체계적으로 분류하고 체계화할 수 있는가?
• RQ2 구조, 통계, 의미론, 딥러닝 기반 사전 지식의 근본 원리와 실용적 응용 사례는 무엇인가?
• RQ3 사전 훈련된 GAN과 잠재 코드 검색 기법은 어떻게 이미지 복원 성능 향상에 활용될 수 있는가?
• RQ4 대규모 기초 모델은 이미지 복원에서 의미론적 이해력과 정확성 향상에 어떤 역할을 할 수 있는가?
• RQ5 다중모달, 지시 기반 인터페이스는 이미지 복원 작업의 정확성과 사용자 맞춤화 수준을 어떻게 향상시킬 수 있는가?

주요 결과

• 이 서베이는 네 가지 주요 카테고리에 걸쳐 삼십여 가지의 특정 사전 지식을 포함하는 종합적이고 계층적인 분류 체계를 수립하여 체계적 비교 및 응용을 가능하게 했다.
• 기존의 전통적 이미지 처리 기반의 구조 및 통계적 사전 지식들은 딥러닝 프레임워크에 통합될 경우 여전히 매우 효과적이다.
• CLIP 및 SAM과 같은 사전 훈련된 모델에서 유도된 의미론적 사전 지식은 이미지 해체 및 초해상도 등의 제로샷 작업에서 성능 향상에 크게 기여한다.
• Stable Diffusion 및 Visual ChatGPT와 같은 기초 모델은 사용자 의도에 따라 반복적으로 개선 가능한 텍스트 기반 상호작용식 이미지 복원을 가능하게 하여, 사용자 중심의 정밀한 복원을 실현한다.
• 사전 훈련된 생성기 기반 GAN 인version 기법은 잠재공간 탐색을 통해 고품질 이미지를 생성할 수 있으며, 이는 감독 학습 대비 자료 효율적인 대안을 제공한다.
• 이미지 복원 작업에 대규모 기초 모델을 통합하는 것은 아직 충분히 탐색되지 않은 분야이며, 성능 향상 잠재력이 매우 높아 향후 연구의 주요 전초 분야로 부상할 전망이다.