[논문 리뷰] Blind Image Super-Resolution: A Survey and Beyond

Anran Liu, Yihao Liu외 3명|arXiv (Cornell University)|2021. 07. 07.

Advanced Image Processing Techniques인용 수 12

한 줄 요약

이 논문은 실세계 이미지 초해상도 복원(BISR)을 위한 체계적 서베이 및 분류 체계를 제안하며, 열화 모델링 방식(명시적/암시적)과 데이터 소스(외부 데이터셋 또는 단일 저해상도 이미지)에 따라 방법을 분류한다. 기존 접근법의 핵심적 한계를 규명하고, 실세계 이미지에서의 성능 격차를 강조하며, 단일 이미지 기반 암시적 모델링을 향후 유망한 방향으로 제안한다. 이는 공정한 비교를 위한 프레임워크와 BISR 과제에 대한 깊이 있는 통찰을 제공한다.

ABSTRACT

Blind image super-resolution (SR), aiming to super-resolve low-resolution images with unknown degradation, has attracted increasing attention due to its significance in promoting real-world applications. Many novel and effective solutions have been proposed recently, especially with the powerful deep learning techniques. Despite years of efforts, it still remains as a challenging research problem. This paper serves as a systematic review on recent progress in blind image SR, and proposes a taxonomy to categorize existing methods into three different classes according to their ways of degradation modelling and the data used for solving the SR model. This taxonomy helps summarize and distinguish among existing methods. We hope to provide insights into current research states, as well as to reveal novel research directions worth exploring. In addition, we make a summary on commonly used datasets and previous competitions related to blind image SR. Last but not least, a comparison among different methods is provided with detailed analysis on their merits and demerits using both synthetic and real testing images.

연구 동기 및 목표

• 열화 유형이 알려져 있지 않고 복잡한 실세계 이미지 초해상도 복원 문제를 해결하기 위해.
• 새로운 분류 체계를 활용해 최근의 실세계 이미지 초해상도 복원(BISR) 기술의 체계적 리뷰를 제공하기 위해.
• 다양한 실세계 열화 유형에 일반화되지 못하는 기존 방법의 한계를 명확히 하기 위해.
• 열화 모델링 방식과 데이터 소스 기반으로 분류함으로써 BISR 방법 간 공정하고 의미 있는 비교를 이끌어내기 위해.
• 단일 이미지 기반 암시적 모델링을 향후 BISR에서 매우 유망한, yet 미개척된 방향으로 식별하기 위해.

제안 방법

• 외부 데이터셋 또는 단일 저해상도 이미지를 데이터 소스로 하여 명시적/암시적 열화 모델링을 조합한 네 가지 범주로 BISR 방법을 분류하는 분류 체계를 제안한다.
• 비맹렬 초해상도와 맹렬 초해상도를 구분하기 위한 수학적 수식을 사용하며, 잘못된 열화 가정으로 인한 도메인 갭을 강조한다.
• 각 범주에 속하는 대표적 방법들을 분석한다. 예를 들어, SRMD와 IKC는 외부 데이터를 사용하는 명시적 모델링에 속하고, NPBSR과 KernelGAN은 단일 이미지를 사용하는 명시적 모델링에 속하며, CinCGAN과 FSSR은 외부 데이터를 사용하는 암시적 모델링에 속한다.
• 합성 및 실세계 테스트 이미지를 사용해 방법을 평가하며, 열화 가정이 위반될 경우 성능 저하를 강조한다.
• 공정한 비교를 위해 제안된 분류 체계를 활용할 것을 권고하며, 서로 다른 모델링/데이터 파라다임 간 비교가 아닌, 동일한 범주 내에서 평가할 것을 제안한다.
• 향후 연구는 단일 저해상도 이미지만을 사용하는 암시적 모델링을 탐색할 것을 제안하며, 인간의 간섭이나 고해상도 참조 선택을 사전 지식으로 통합할 수 있음을 시사한다.

실험 결과

연구 질문

• RQ1 다양한 열화 모델링 전략(명시적 대비 암시적)은 맹렬 초해상도 모델의 일반화 능력에 어떤 영향을 미치는가?
• RQ2 기존 BISR 방법들이 훈련 데이터에 포함되지 않은 다양한 실세계 열화 유형에 얼마나 잘 일반화되는가?
• RQ3 정상적인 강건성에 대한 주장에도 불구하고 최신 BISR 방법들이 여전히 실세계 이미지에서 만족스러운 결과를 내지 못하는 이유는 무엇인가?
• RQ4 명시적 열화 모델링 또는 외부 데이터셋에 의존하는 현재 접근법의 핵심적 한계는 무엇인가?
• RQ5 단일 저해상도 이미지만을 사용하는 암시적 모델링의 잠재력은 무엇이며, 어떻게 현재의 일반화 한계를 극복할 수 있는가?

주요 결과

• 명시적 열화 모델링을 사용하는 방법들은 모델링된 열화 유형(예: 노이즈 또는 블러)에 대해서만 잘 작동하지만, 새로운 열화 유형에 직면하면 극적으로 실패한다.
• SRResNet과 IKC는 실세계 이미지에서 노이즈 무늬를 유지하고 잡음이 명시적으로 모델링되지 않은 경우 아티팩트를 유발한다.
• SRMD와 USRNet은 노이즈 아티팩트를 줄이지만 고주파 성분을 손상시키며, 알려지지 않은 열화 유형에 대해 정확한 커널 및 노이즈 수준 추정이 필요하다.
• RealSR와 FSSR은 노이즈 제거와 무늬 보존 측면에서 더 나은 성능을 보이지만 여전히 자연스럽지 않은 무늬와 아티팩트를 생성하여, 빛의 시각적 비합리성으로 이어진다.
• Forrest Gump의 실세계 이미지와 같은 이미지에서 현재의 어떤 방법도 일관되게 만족스러운 결과를 내지 못하고 있어, 복잡하고 알려지지 않은 열화 유형에 대한 일반화의 근본적 격차가 있음을 시사한다.
• 단일 이미지 기반 암시적 모델링는 아직 탐색되지 않은 분야이며, 맹렬 초해상도 복원의 일반화 능력을 향상시키기 위한 매우 유망한 향후 방향으로 확인된다.