[논문 리뷰] A Deep Journey into Super-resolution: A survey

Saeed Anwar, Salman Khan외 1명|arXiv (Cornell University)|2019. 04. 16.

Advanced Image Processing Techniques참고 문헌 104인용 수 92

한 줄 요약

이 논문은 30편이 넘는 심층 CNN 기반 단일 이미지 초해상도(SISR) 방법을 조사하고, 아홉 분류 체계를 제안하며, 여섯 개 데이터셋에 걸쳐 이들을 비교하여 진전, 트레이드오프 및 향후 방향을 강조한다.

ABSTRACT

Deep convolutional networks based super-resolution is a fast-growing field with numerous practical applications. In this exposition, we extensively compare 30+ state-of-the-art super-resolution Convolutional Neural Networks (CNNs) over three classical and three recently introduced challenging datasets to benchmark single image super-resolution. We introduce a taxonomy for deep-learning based super-resolution networks that groups existing methods into nine categories including linear, residual, multi-branch, recursive, progressive, attention-based and adversarial designs. We also provide comparisons between the models in terms of network complexity, memory footprint, model input and output, learning details, the type of network losses and important architectural differences (e.g., depth, skip-connections, filters). The extensive evaluation performed, shows the consistent and rapid growth in the accuracy in the past few years along with a corresponding boost in model complexity and the availability of large-scale datasets. It is also observed that the pioneering methods identified as the benchmark have been significantly outperformed by the current contenders. Despite the progress in recent years, we identify several shortcomings of existing techniques and provide future research directions towards the solution of these open problems.

연구 동기 및 목표

• 단일 이미지 SR(SISR)에 대한 심층 학습 접근법의 포괄적 검토를 제공한다.
• 아키텍처 차이에 기반한 SR 네트워크의 분류 체계를 도입한다.
• 방법 간의 설계 선택, 학습 세부사항, 손실 함수 등을 분석한다.
• 여섯 개의 공개 SISR 데이터셋에서 방법들을 평가한다.
• 현재의 한계와 향후 연구 방향에 대해 논의한다.

제안 방법

• SR 네트워크의 아홉 가지 범주 분류 체계(선형, 잔차, 다분기(branch), 재귀적, 점진적, 주의 기반, 적대적, 조밀하게 연결된 등)를 제안한다.
• 아키텍처, 매개변수, 메모리 사용량, 입력/출력 및 손실 측면에서 30편이 넘는 최첨단 SR-CNN들의 체계적 비교를 수행한다.
• 초기 업샘플링, 후반 업샘플링, 재귀적, 점진적 및 조밀하게 연결된 아키텍처를 포함한 네트워크 설계를 고찰한다.
• 진행 상황과 경향을 평가하기 위해 여섯 개의 공용 SISR 데이터셋에서 방법들을 평가한다.
• 성능과 효율성에 대한 영향을 강조하는 주요 아키텍처 혁신을 조명한다.

실험 결과

연구 질문

• RQ1 현대의 SR-CNN들은 설계가 어떻게 상이하며 이러한 설계가 성능과 복잡도에 어떤 영향을 미치는가?
• RQ2 초기 업샘플링 대 후기 업샘플링 간의 트레이드오프와 SR를 위한 선형, 잔차, 재귀적 설계 간의 trade-off는 무엇인가?
• RQ3 데이터셋과 손실 함수가 SR 품질 향상을 위해 어떻게 진화해 왔으며 남아 있는 격차는 무엇인가?
• RQ4 SR 방법의 현재 한계는 무엇이며 가장 유망한 향후 방향은 무엇인가?

주요 결과

• 최근 몇 년 동안 SR 정확도는 모델의 복잡도 증가와 더 큰 데이터셋과 함께 일관되고 빠르게 성장하고 있다.
• 선구적 벤치마크 방법들이 평가된 데이터셋 전반에서 현재의 경쟁자들에게 추월당했다.
• 본 논문은 평가 및 재현을 촉진하기 위해 공개 데이터셋과 코드를 제공한다.
• 잔차형, 재귀형, 조밀하게 연결된 등 서로 다른 아키텍처 가족들이 SR 작업에서 각각 고유한 강점을 기여한다.
• 평가 결과는 방법들 간의 성능, 속도, 메모리 요구사항 간의 트레이드오프를 강조한다.