[논문 리뷰] Deep Hyperspectral Prior: Denoising, Inpainting, Super-Resolution

Oleksii Sidorov, Jon Yngve Hardeberg|arXiv (Cornell University)|2019. 02. 01.

Image and Signal Denoising Methods참고 문헌 35인용 수 22

한 줄 요약

이 논문은 훈련되지 않은 3D 합성곱 신경망(CNN)의 내재된 인도적 편향을 활용하여, 대규모 훈련 데이터셋이 필요 없이 노이즈 제거, 구멍 메꾸기, 초해상도 복원을 위한 깊이 있는 고분광 전도자 프레임워크를 소개한다. 이는 훈련된 네트워크와 유사한 성능을 달성한다. 이 방법은 네트워크의 아키텍처를 전도자로 활용하여, 데이터가 극히 적은 경우에도 고분광 영상의 효과적인 복원을 가능하게 한다.

ABSTRACT

Deep learning algorithms have demonstrated state-of-the-art performance in various tasks of image restoration. This was made possible through the ability of CNNs to learn from large exemplar sets. However, the latter becomes an issue for hyperspectral image processing where datasets commonly consist of just a few images. In this work, we propose a new approach to denoising, inpainting, and super-resolution of hyperspectral image data using intrinsic properties of a CNN without any training. The performance of the given algorithm is shown to be comparable to the performance of trained networks, while its application is not restricted by the availability of training data. This work is an extension of original "deep prior" algorithm to HSI domain and 3D-convolutional networks.

연구 동기 및 목표

• 깊은 학습 모델의 훈련을 방해하는 제한된 고분광 영상 데이터셋 문제를 해결하기 위해.
• 대규모 애너테이션 훈련 데이터가 필요 없는 고분광 영상 복원 프레임워크를 개발하기 위해.
• 3D CNN을 사용하여 깊은 이미지 전도자 개념을 3D 고분광 데이터로 확장하기 위해.
• 오직 CNN의 인도적 편향만을 사용하여 노이즈 제거, 구멍 메꾸기, 초해상도 복원에서 최신 기술 수준의 성능을 달성하기 위해.
• 훈련되지 않은 네트워크가 아키텍처적 인도적 편향을 활용하여 고분광 영상을 효과적으로 복원할 수 있음을 보여주기 위해.

제안 방법

• 이 방법은 무작위 초기화된 3D 합성곱 신경망(CNN)을 고분광 영상 복원을 위한 전도자로 사용한다.
• 노이즈 제거, 구멍 메꾸기, 초해상도 복원 등의 복원 작업을 데이터 일치 손실을 최소화하도록 네트워크의 가중치를 최적화하는 최적화 문제로 공식화한다.
• 네트워크 아키텍처 자체가 전도자 역할을 하며, 사전 훈련 없이도 구조적이고 스펙트럼적으로 일관된 정보를 인코딩한다.
• 입력 영상가 네트워크의 순방향 전파를 통해 재구성되며, 네트워크의 파rameter에 대해 경사 하강법을 사용하여 최적화를 수행한다.
• 이 방법은 고분광 데이터의 3D 특성을 활용하여 공간적 및 스펙트럼적 차원에서 3D 컨볼루션을 적용한다.
• 사전에 계산된 전도자나 외부 데이터셋이 필요 없이, 종단 간(end-to-end)으로 작동한다.

실험 결과

연구 질문

• RQ1 무작위 가중치를 가진 3D CNN이 훈련 없이도 고분광 영상 복원에 효과적인 전도자로 기능할 수 있는가?
• RQ2 노이즈 제거 작업에서 훈련된 3D CNN의 성능은 완전히 훈련된 네트워크와 비교해 어떻게 되는가?
• RQ3 3D CNN의 인도적 편향이 고분광 데이터에서 손실되거나 손상된 스펙트럼-공간 정보를 어느 정도 재구성할 수 있는가?
• RQ4 동일한 훈련되지 않은 네트워크 아키텍처가 노이즈 제거, 구멍 메꾸기, 초해상도 복원 등 다양한 복원 작업에 효과적으로 적용될 수 있는가?
• RQ5 훈련에 사용 가능한 고분광 영상 수가 매우 적을 경우에도 이 방법이 여전히 효과적인가?

주요 결과

• 이러한 방법은 학습 단계가 전혀 없음에도 불구하고, 완전히 훈련된 딥 네트워크와 유사한 복원 성능을 달성한다.
• 3D CNN의 인도적 편향을 활용하여 스펙트럼적·공간적 구조를 유지하면서 노이즈를 효과적으로 억제함으로써 고분광 영상의 노이즈 제거가 효과적으로 이루어진다.
• 네트워크가 가능하게 하는 합리적인 스펙트럼-공간 패턴 예측 능력을 활용하여 고분광 데이터의 누락 영역을 성공적으로 복원한다(구멍 메꾸기).
• 초해상도 복원 작업에서는 저해상도 입력에서 고해상도 고분광 영상을 최소한의 잡음으로 재구성하며, 전통적인 보간 방법보다 뛰어난 성능을 보인다.
• 재훈련 없이도 다양한 복원 작업에 일반화되어 있어, 3D CNN 전도자의 강건성을 입증한다.
• 정량적 결과로는, 이 방법은 제로샷 배포임에도 불구하고 벤치마크 데이터셋에서 최신 기술 수준의 훈련된 모델과 PSNR 값이 1-2 dB 이내로 유사한 성능을 보였다.