[논문 리뷰] Enhancing Multi-Scale Implicit Learning in Image Super-Resolution with Integrated Positional Encoding

Ying-Tian Liu, Yuan-Chen Guo외 1명|arXiv (Cornell University)|2021. 12. 10.

Advanced Image Processing Techniques인용 수 9

한 줄 요약

이 논문은 이미지 초해상도에서 다중 척도 은닉 학습을 향상시키기 위해 전체 픽셀 영역에 걸쳐 위치 인코딩을 집계하는 새로운 방법인 통합 위치 인코딩(IPE)을 제안한다. 기존의 중심 기반 좌표 표현 방식을 대체하여, 픽셀 영역 전체에서의 빛의 물리적 집적을 더 잘 모델링함으로써 공간 주파수 정보를 보다 잘 포착한다. IPE-LIIF로 적용된 결과, 다양한 배율 요소에서 최신 기술 성능(SOTA)을 달성하였으며, 기준 은닉 모델보다 일관된 향상과 다른 은닉 아키텍처로의 일반화 성능을 확보하였다.

ABSTRACT

Is the center position fully capable of representing a pixel? There is nothing wrong to represent pixels with their centers in a discrete image representation, but it makes more sense to consider each pixel as the aggregation of signals from a local area in an image super-resolution (SR) context. Despite the great capability of coordinate-based implicit representation in the field of arbitrary-scale image SR, this area's nature of pixels is not fully considered. To this end, we propose integrated positional encoding (IPE), extending traditional positional encoding by aggregating frequency information over the pixel area. We apply IPE to the state-of-the-art arbitrary-scale image super-resolution method: local implicit image function (LIIF), presenting IPE-LIIF. We show the effectiveness of IPE-LIIF by quantitative and qualitative evaluations, and further demonstrate the generalization ability of IPE to larger image scales and multiple implicit-based methods. Code will be released.

연구 동기 및 목표

• 은닉 이미지 초해상도에서 중심 기반 좌표 표현 방식의 한계를 해결하기 위해, 픽셀 영역 전체에서의 빛의 물리적 집적을 모델링하지 못하는 문제를 해결한다.
• 각 픽셀의 공간적 크기를 반영한 척도 및 위치에 의존하는 인코딩을 통합하여, 임의의 척도 초해상도에서 고주파 수치 복구를 향상시킨다.
• 다양한 아키텍처와 척도 요소에 걸쳐 은닉 신경망을 향상시키는 일반화 가능한 위치 인코딩 기법을 개발한다.
• 픽셀을 점 샘플이 아닌 영역 통합 신호로 모델링할 경우, 더 정확하고 시각적으로 자연스러운 초해상도 결과를 얻을 수 있음을 입증한다.

제안 방법

• IPE는 예측할 픽셀 영역 전체에 걸쳐 위치 인코딩의 적분을 계산하여, 기존의 좌표 기반 위치 인코딩을 대체한다.
• 대역폭 L을 포함한 사인 및余弦 항을 사용하는 닫힌 형태의 해를 통해 픽셀 영역 내에서 주파수 성분을 통합한다.
• IPE는 국소적 특징 벡터와 연결되어 은닉 디코더에 입력되며, LIIF에서 표준 좌표 입력을 대체한다.
• Meta-SR 및 LIIF와 같은 기존 은닉 모델과의 호환성을 유지하여 즉시 통합이 가능한 플러그 앤 플레이 아키텍처를 제공한다.
• 학습 가능한 셀 크기 입력을 IPE와 조합하여 척도 일반화를 향상시키지만, 분석 결과 이는 분포 외 척도에서 성능 저하를 유발할 수 있다.
• 은닉 디코더에 스킵 연결을 사용하여 특징 전파를 향상시키고, 모든 척도 요소에서 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 전체 픽셀 영역에 걸쳐 위치 인코딩을 통합하면, 임의의 척도 초해상도에서 고주파 수치 복구가 향상되는가?
• RQ2 픽셀을 점 샘플이 아닌 영역 통합 신호로 모델링할 경우, 다양한 척도 요소에서 더 나은 일반화 성능를 달성하는가?
• RQ3 IPE는 LIIF를 초월해 여러 은닉 기반 초해상도 아키텍처로 효과적으로 일반화될 수 있는가?
• RQ4 IPE는 표준 위치 인코딩 및 셀 디코딩과 비교해 복수의 척도 요소에서 성능 및 내구성 면에서 어떻게 성능을 내는가?

주요 결과

• IPE-LIIF는 DIV2K 데이터셋에서 최신 기술 성능(SOTA)을 달성하였으며, ×2에서 PSNR 34.72, ×3에서 31.01, ×4에서 29.04, ×6에서 26.79, ×18에서 22.21, ×30에서 20.51을 기록하였다.
• 모든 척도 요소에서 표준 LIIF 및 단순 위치 인코딩을 적용한 LIIF보다 IPE-LIIF가 PSNR와 시각적 품질 면에서 일관되게 뛰어난 성능을 보였다.
• 분석 결과 IPE의 대역폭 L을 10 이상으로 늘일 경우 고주파 성분의 수익 감소로 인해 성능 향상이 미미한 것으로 나타났다.
• IPE와 함께 셀 디코딩을 사용할 경우 분포 외 척도에서 성능 저하가 발생하여, IPE만으로도 더 강건하고 일반화 능력이 뛰어난 솔루션임을 시사한다.
• 은닉 디코더에 스킵 연결을 도입하면 모든 척도에서 성능 향상이 뚜렷하게 나타나, 특징 학습 향상과 네트워크 깊이 유연성 향상에 기여함을 확인하였다.
• IPE는 다른 은닉 모델로도 잘 일반화된다: IPE-MetaSR는 ×2에서 PSNR 34.51, ×3에서 30.86, ×4에서 28.94, ×6에서 26.74, ×18에서 23.71을 기록하여 원본 Meta-SR 및 PE를 적용한 Meta-SR를 모두 초월하였다.