[논문 리뷰] Guided Super-Resolution as a Learned Pixel-to-Pixel Transformation.

Riccardo de Lutio, Stefano D’Aronco외 2명|arXiv (Cornell University)|2019. 04. 02.

Advanced Image Processing Techniques참고 문헌 21인용 수 4

한 줄 요약

이 논문은 고해상도 가이드 이미지에서 소스 이미지 도메인으로의 픽셀 간 매핑을 학습된 다층 퍼셉트론을 사용하여 프레임워크화하는 새로운 비지도 지도(super-resolution) 방법을 제안한다. 출력이 아닌 매핑 함수에만 정규화를 적용함으로써, 이전 방법들보다 더 선명하고 자연스러운 고해상도 결과를 얻을 수 있으며, 이는 깊이 맵 및 나무 높이 맵 초해상도 복원 작업에서 입증되었다.

ABSTRACT

Guided super-resolution is a unifying framework for several computer vision tasks where the inputs are a low-resolution source image of some target quantity (e.g., perspective depth acquired with a time-of-flight camera) and a high-resolution guide image from a different domain (e.g., a gray-scale image from a conventional camera); and the target output is a high-resolution version of the source (in our example, a high-res depth map). The standard way of looking at this problem is to formulate it as a super-resolution task, i.e., the source image is upsampled to the target resolution, while transferring the missing high-frequency details from the guide. Here, we propose to turn that interpretation on its head and instead see it as a pixel-to-pixel mapping of the guide image to the domain of the source image. The pixel-wise mapping is parameterised as a multi-layer perceptron, whose weights are learned by minimising the discrepancies between the source image and the downsampled target image. Importantly, our formulation makes it possible to regularise only the mapping function, while avoiding regularisation of the outputs; Thus producing crisp, natural-looking images. The proposed method is unsupervised, using only the specific source and guide images to fit the mapping. We evaluate our method on two different tasks, super-resolution of depth maps and of tree height maps. In both cases we clearly outperform recent baselines in quantitative comparisons, while delivering visually much sharper outputs.

연구 동기 및 목표

• 다른 도메인의 고해상도 가이드 이미지를 사용하여 소스 이미지(예: 깊이 맵)의 고해상도 결과를 생성하는 데 도전한다.
• 기존 초해상도 복원 방법의 한계를 극복한다. 이러한 방법들은 소스 이미지를 업샘플링하고 가이드 특징에 의존하는 경향이 있어 일반적으로 흐릿한 출력을 낳는다.
• 출력 이미지를 정규화하지 않아서 세부 정보를 유지하고 선명함을 보존하는 방법을 개발한다.
• 쌍체 고해상도 정답이 소스 이미지에 대해 필요로 하지 않는 비지도 학습을 가능하게 한다.

제안 방법

• 소스 이미지의 도메인으로의 픽셀 간 변환으로 지도 초해상도 복원을 재정의하며, 소스 이미지를 업샘플링하는 것이 아니라 가이드 이미지에서의 변환을 중심으로 한다.
• 학습 가능한 가중치를 가진 다층 퍼셉트론(MLP)을 사용하여 픽셀 간 매핑을 매개변수화한다.
• 소스 이미지와 매핑된 가이드 이미지의 내림샘플링된 출력 간의 차이를 최소화하여 MLP를 학습한다.
• 출력이 아닌 매핑 함수에만 정규화를 적용하여 고주파 수준의 세부 정보를 유지하고 흐림을 방지한다.
• 소스 이미지와 가이드 이미지 쌍만을 사용하는 종단 간 비지도 학습 체계를 적용한다.
• 매핑 과정 중 특징를 정렬하기 위해 가이드 이미지와 소스 이미지 간의 공간적 대응 관계를 활용한다.

실험 결과

연구 질문

• RQ1 가이드 이미지에서 소스 도메인으로의 학습된 픽셀 간 매핑이 기존 초해상도 복원 방법보다 지도 초해상도 복원 작업에서 우수한 성능을 보일 수 있는가?
• RQ2 출력이 아닌 매핑 함수에만 정규화를 적용할 경우, 더 선명하고 자연스러운 고해상도 결과를 얻을 수 있는가?
• RQ3 쌍체 고해상도 정답이 소스 이미지에 대해 필요로 하지 않는 비지도 방법이 최신 기준 수준의 성능을 달성할 수 있는가?
• RQ4 제안된 방법은 깊이 맵 및 나무 높이 맵 초해상도 복원과 같은 다양한 지도 초해상도 복원 작업에 어떻게 일반화되는가?

주요 결과

• 제안된 방법은 깊이 맵 및 나무 높이 맵 초해상도 복원 작업에서 최근의 베이스라인과 비교해 뛰어난 정량적 성능을 달성한다.
• 시각적 결과는 더 선명하고 자연스러운 출력을 보이며, 세부 정보의 보존 수준이 뛰어나다.
• 고해상도 소스 이미지의 정답이 없더라도 이미지의 선명함과 구조적 유사성 면에서 기존 방법들을 능가한다.
• 출력 정규화가 없기에, 출력 변동을 억제하는 방법들보다 고주파 세부 정보를 더 효과적으로 생성할 수 있다.