[논문 리뷰] Single image super-resolution by approximated Heaviside functions

Liang-Jian Deng, Weihong Guo외 1명|arXiv (Cornell University)|2015. 03. 12.

Advanced Image Processing Techniques참고 문헌 55인용 수 3

한 줄 요약

이 논문은 매끄럽고 비매끄러운 이미지 성분을 별도로 모델링하기 위해 두 종류의 근사 헤비사이드 함수(AHFs)를 사용하는 연속 도메인 이미지 초해상도 복원 방법을 제안한다. ADMM를 통해 해결하는 L1-정규화된 반복 모델을 패치 단위로 적용함으로써, 학습 데이터 없이도 어떤 확대 요소에서도 고해상도 재구성 성능을 달성하며, 시각적 품질과 RMSE와 같은 정량적 지표에서 기존 방법들을 능가한다.

ABSTRACT

Image super-resolution is a process to enhance image resolution. It is widely used in medical imaging, satellite imaging, target recognition, etc. In this paper, we conduct continuous modeling and assume that the unknown image intensity function is defined on a continuous domain and belongs to a space with a redundant basis. We propose a new iterative model for single image super-resolution based on an observation: an image is consisted of smooth components and non-smooth components, and we use two classes of approximated Heaviside functions (AHFs) to represent them respectively. Due to sparsity of the non-smooth components, a $L_{1}$ model is employed. In addition, we apply the proposed iterative model to image patches to reduce computation and storage. Comparisons with some existing competitive methods show the effectiveness of the proposed method.

연구 동기 및 목표

• 하드웨어나 비용 제약 조건이 있는 상황에서 단일 저해상도 이미지만 이용 가능한 단일 이미지 초해상도 복원(SISR) 문제에 도전한다.
• 이산 도메인 모델의 한계를 극복하기 위해 중복 기저 함수를 사용하여 이미지 강도 함수를 연속 도메인에서 모델링한다.
• 두 종류의 근사 헤비사이드 함수(AHFs)를 통해 매끄럽고 비매끄러운 성분을 별도로 표현하여 세부 정보와 에지 보존을 도모한다.
• 전체 이미지가 아닌 패치 단위로 반복 모델을 적용하여 계산 비용과 저장 용량을 줄인다.
• 큰 스케일의 에지 주변에서 발생하는 링 아티팩트를 줄이기 위해 기울기 기반 전략을 도입하여 에지 재구성 품질을 향상시킨다.

제안 방법

• 알려지지 않은 고해상도 이미지 강도 함수를 매끄러운 성분과 비매끄러운 성분(예: 에지)을 위한 두 종류의 근사 헤비사이드 함수(AHFs)의 합으로 모델링한다.
• 비매끄러운 성분의 AHF 표현에서 희박성을 활용하기 위해 L1-정규화된 최적화 문제를 설정한다.
• 반복 모델을 효율적으로 해결하기 위해 분할 상환 다중승수 방법(ADMM)을 사용하여 고해상도 재구성에 수렴한다.
• 특히 큰 이미지에서 메모리 사용량과 계산 부담을 줄이기 위해 계수 계산 과정을 패치 단위로 적용한다.
• 매끄러운 영역에서 이미지 기울기 정보를 통합하여 큰 에지 주변의 링 아티팩트를 억제한다.
• 학습된 계수를 직접 적용하여 임의의 확대 요소에서 원하는 해상도의 고해상도 이미지를 재구성할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 근사 헤비사이드 함수를 기반으로 한 연속 도메인 모델이 단일 이미지 초해상도 복원에서 매끄럽고 비매끄러운 성분을 효과적으로 표현할 수 있는가?
• RQ2 AHF 계수에 L1 정규화를 적용할 경우 기존 방법과 비교해 에지 및 세부 정보 보존에 어떤 개선 효과를 보이는가?
• RQ3 패치 기반 처리 방식이 제안된 방법에서 계산 비용을 얼마나 줄이며 재구성 품질을 유지하는가?
• RQ4 대부분의 학습 기반 방법과 달리 외부 학습 데이터가 필요 없이도 고품질 초해상도 복원을 달성할 수 있는가?
• RQ5 기울기 기반 전략이 매끄러운 이미지 영역에서 링 아티팩트를 얼마나 효과적으로 억제하는가?

주요 결과

• 시험 이미지에서 평균 RMSE가 12.08을 기록하여 정량적·정성적 측면에서 기존의 경쟁 방법들을 능가한다.
• L1 정규화를 적용한 반복 AHF 모델은 비반복적 대비 더 선명한 에지와 더 나은 세부 정보 보존을 제공한다.
• 2배에서 9배의 확대 요소에 걸쳐 60×60 저해상도 이미지의 경우 계산 시간이 10초 이내로 유지되어 확장성 있음을 보여준다.
• 모델은 파라미터 변동에 강건하며, λ₁와 λ₂를 각각 약 10⁻²와 10⁻⁶ 근처에서 조정해도 성능 저하가 최소한이다.
• 패치 기반 적용 덕분에 메모리 사용량이 크게 감소하여 대규모 이미지의 효율적 처리가 가능하다.
• 기울기 기반 아티팩트 억제 전략은 매끄러운 영역에서 링 아티팩트를 효과적으로 억제하여 시각적 품질을 향상시킨다.