[논문 리뷰] RAISR: Rapid and Accurate Image Super Resolution

Yaniv Romano, John Isidoro외 1명|arXiv (Cornell University)|2016. 06. 03.

Advanced Image Processing Techniques참고 문헌 42인용 수 6

한 줄 요약

RAISR는 로컬 기울기 통계에 기반한 해싱 메커니즘을 통해 콘텐츠 적응형 필터를 선택함으로써 빠르고 복잡도가 낮은 이미지 슈퍼레졸루션 방법을 제안한다. 이는 기존 최고 수준의 방법보다 런타임 속도가 100배 이상 빠르며, CT 기반 서식 전략을 통해 아티팩트 없는 샤프닝을 가능하게 한다.

ABSTRACT

Given an image, we wish to produce an image of larger size with significantly more pixels and higher image quality. This is generally known as the Single Image Super-Resolution (SISR) problem. The idea is that with sufficient training data (corresponding pairs of low and high resolution images) we can learn set of filters (i.e. a mapping) that when applied to given image that is not in the training set, will produce a higher resolution version of it, where the learning is preferably low complexity. In our proposed approach, the run-time is more than one to two orders of magnitude faster than the best competing methods currently available, while producing results comparable or better than state-of-the-art. A closely related topic is image sharpening and contrast enhancement, i.e., improving the visual quality of a blurry image by amplifying the underlying details (a wide range of frequencies). Our approach additionally includes an extremely efficient way to produce an image that is significantly sharper than the input blurry one, without introducing artifacts such as halos and noise amplification. We illustrate how this effective sharpening algorithm, in addition to being of independent interest, can be used as a pre-processing step to induce the learning of more effective upscaling filters with built-in sharpening and contrast enhancement effect.

연구 동기 및 목표

• 기존 최고 수준 기술보다 훨씬 빠른 초해상도 방법을 개발함으로써 이미지 품질을 유지하거나 향상시키는 것.
• 비싼 스퍼스 코딩 또는 딥러닝을 대체하여 이미지 확대 시 계산 복잡도를 줄이기 위해 빠른 해싱 기반 필터 선택 메커니즘을 도입하는 것.
• 홀로우나 노이즈 증폭을 유발하지 않으면서도 초해상도 과정에 효과적인 샤프닝과 대trast 강화를 통합하는 것.
• 모바일 및 인터랙티브 애플리케이션에 적합한 실시간 또는 근접 실시간 이미지 확대를 가능하게 하는 것.
• 단일 효율적 단계에서 디얼리어싱, 샤프닝, 세밀한 디테일 강화 기능을 수행할 수 있는 필터를 학습할 수 있는 프레임워크 설계

제안 방법

• RAISR는 로컬 기울기 통계가 유사한 패치 클러스터별로 사전에 학습된 필터 집합을 생성하기 위해 LR-HR 이미지 패치 쌍 데이터베이스를 사용한다.
• 기울기 기반 서술자(CT 서술자)를 기반으로 각 LR 패치를 클러스터에 매핑하는 해싱 메커니즘이 도입되어 선형 탐색 대신 상수 시간 내에 필터를 검색할 수 있다.
• 선택된 사전 학습된 필터를 각 패치에 적용하여 디테일과 선명도를 향상시키며, 기본적인 이선형 확대보다 향상된 결과를 도출한다.
• 최종 블렌딩 단계에서는 이선형 확대 결과와 필터링 결과를 CT 기반 마스크를 사용해 조합하여 아티팩트를 억제하며, 특히 평탄한 영역에서 효과적이다.
• 블렌딩 메커니즘은 무작위성 마스크 또는 CT 서술자에서 비트 변경 수를 사용하여 필터링 결과 또는 원본 추정치 중 어느 쪽을 우선시할지 결정한다.
• 학습 과정에서는 고해상도 이미지를 샤프닝 처리하고 저해상도 이미지를 압축하여 필터에 디얼리어싱 및 대trast 강화 기능을 내장한다.

실험 결과

연구 질문

• RQ1 초기 기술보다 수십 배 이상 낮은 계산 비용으로 최고 수준의 이미지 품질을 달성할 수 있는가?
• RQ2 스퍼스 코딩이나 딥러닝에 비해 비용이 많이 들지 않는 해싱 기반 필터 선택 메커니즘이 정확도를 유지하면서 대체 가능할 수 있는가?
• RQ3 단일 필터 세트가 아티팩트를 유발하지 않으면서 동시에 디얼리어싱, 샤프닝, 대trast 강화를 수행할 수 있는가?
• RQ4 CT 기반 블렌딩 전략은 세밀한 디테일을 유지하면서 아티팩트를 효과적으로 억제하는가?
• RQ5 이 프레임워크는 이선형 확대를 초과하는 임의의 입력 이미지에 대해 부스팅 메커니즘으로 확장될 수 있는가?

주요 결과

• RAISR는 런타임 속도가 A+ 및 SRCNN과 같은 최고 수준의 방법보다 100배 이상 빠르지만, 초해상도 결과 품질은 이와 유사하거나 뛰어나다.
• 해싱 기반 필터 검색을 통해 패치당 계산 복잡도를 선형에서 상수 시간으로 줄여, A+와 같은 사전 정의된 사전 기반 방법보다 빠른 속도를 확보했다.
• CT 기반 블렌딩 전략을 사용함으로써 평탄한 영역에서는 이선형 확대를 우선시하고, 무늬나 에지 영역에서는 필터링 결과를 우선시함으로써 아티팩트 없는 결과를 도출할 수 있었다.
• 훈련 이미지를 샤프닝 및 압축 처리하여 학습함으로써 필터가 내재적으로 디얼리어싱 및 대trast 강화 기능을 수행하게 되어 후처리가 불필요해졌다.
• 자연 이미지와 텍스트 모두에서 뛰어난 성능을 보였으며, 메모리 사용량이 최소화되고 이미지당 2~3개의 선형 필터를 추가로 적용하는 것 외에 추가 비용이 거의 없었다.
• 반복적 백프로젝션을 후처리 단계로 적용함으로써 원본 LR 이미지와의 일致성을 강화하여 재구성 정확도를 더욱 향상시켰다.