[논문 리뷰] Self-supervised Hyperspectral Image Restoration using Separable Image Prior

Ryuji Imamura, Tatsuki Itasaka외 1명|arXiv (Cornell University)|2019. 07. 01.

Image and Signal Denoising Methods참고 문헌 34인용 수 6

한 줄 요약

이 논문은 단일 열악한 입력에서 합성 노이즈를 생성함으로써 청소된 기준 영상이 없는 환경에서도 훈련이 가능한 분리 가능 합성곱 신경망을 사용한 고분광 영상(HSI) 복원을 위한 자기지도 학습 딥러닝 방법을 제안한다. 다양한 노이즈 유형, 특히 가우시안, 임펄스성, 선형 결함 노이즈에 대해 최신 기술 수준(SOTA)의 성능을 달성하며, 혼합 노이즈 상황에서 PSNR 향상 최대 39.29 dB를 기록한다.

ABSTRACT

Supervised learning with a convolutional neural network is recognized as a powerful means of image restoration. However, most such methods have been designed for application to grayscale and/or color images; therefore, they have limited success when applied to hyperspectral image restoration. This is partially owing to large datasets being difficult to collect, and also the heavy computational load associated with the restoration of an image with many spectral bands. To address this difficulty, we propose a novel self-supervised learning strategy for application to hyperspectral image restoration. Our method automatically creates a training dataset from a single degraded image and trains a denoising network without any clear images. Another notable feature of our method is the use of a separable convolutional layer. We undertake experiments to prove that the use of a separable network allows us to acquire the prior of a hyperspectral image and to realize efficient restoration. We demonstrate the validity of our method through extensive experiments and show that our method has better characteristics than those that are currently regarded as state-of-the-art.

연구 동기 및 목표

• 고분광 영상(HSI) 복원을 위한 대규모 레이블이 있는 데이터셋의 부족 문제를 해결함으로써, 감독 학습 기반 딥러닝의 적용을 제한하는 요소를 제거한다.
• 고분광 영상의 높은 스펙트럼 차원성으로 인해 발생하는 높은 계산 비용과 모델 복잡도 문제를 해결한다.
• 단일 열악한 HSI에서 합성 훈련 데이터를 생성함으로써 청소된 기준 영상이 필요 없는 자기지도 학습 전략을 개발한다.
• HSI의 이방향성 구조를 활용하여 분리 가능 합성곱 레이어를 도입함으로써 공간-스펙트럼 상관관계를 효율적으로 모델링하고 파라미터 수를 감소시킨다.
• 다양한 노이즈 유형, 특히 혼합 노이즈 및 실제 환경 노이즈에 대해 강건한 성능을 확보함으로써 블라인드 복원 설정에서도 우수한 성능을 발휘한다.

제안 방법

• 단일 열악한 HSI에서 추출한 패치에 고정된 분산을 가진 노이즈를 추가하여 합성 훈련 데이터를 생성함으로써 자기지도 학습을 가능하게 한다.
• 공간적 및 스펙트럼적 특징을 별도로 모델링하기 위해 분리 가능 신경망(딥와이즈 분리 가능 합성곱)을 사용함으로써 모델 파라미터 수와 계산 부담을 감소시킨다.
• 청소된 기준이 없이도 노이즈가 있는 입력과 복원된 출력 간의 표준 평균 제곱 오차(MSE) 손실을 사용하여 디노이징 네트워크를 훈련시킨다.
• 훈련 다양성을 증가시키기 위해 데이터 증강(회전 및 반전)을 적용하였으며, 20개의 HSI 영상을 40×40×50 크기의 패치로 분할하였다.
• 학습률 스케줄링을 두 단계로 설정하여 Adam 옵timizer를 사용해 네트워크를 최적화하였으며, 첫 40 에포크 동안은 1e-3, 이후 10 에포크 동안은 1e-4로 설정하였다.
• 청소된 사전 지식 없이도 HSI의 고랭크성 및 자기 유사성 특성을 활용하여 특징 학습을 향상시키며, 분리 가능 합성곱의 네트워크 인덕티브 바이어스에 의존한다.

실험 결과

연구 질문

• RQ1 청소된 기준 영상이 없는 환경에서도 자기지도 학습 프레임워크가 깊은 신경망을 효과적으로 훈련시켜 HSI 복원에 활용할 수 있는가?
• RQ2 기본 합성곱 신경망 대비 분리 가능 합성곱 레이어의 사용이 HSI 복원에서 효율성과 성능 향상에 어떻게 기여하는가?
• RQ3 제안된 방법이 합성 및 실제 환경 상황에서 가우시안, 임펄스성, 선형 결함 노이즈를 포함한 다양한 노이즈 유형에 대해 일반화 가능한가?
• RQ4 블라인드 및 비블라인드 설정에서 최신 기술 수준의 모델 기반 및 학습 기반 HSI 복원 기법들과 비교해 복원 성능에서 어떤가?
• RQ5 훈련 데이터와 다른 노이즈 특성을 가진 영상에 적용했을 때, 성능 저하 정도는 어느 정도인가?

주요 결과

• 혼합 노이즈 제거(가우시안 + 임펄스성 + 선형 결함) 상황에서 제안된 방법은 PSNR 39.29 dB를 달성하여 LRTDTV(35.22 dB) 및 DIP(25.77 dB)를 모두 능가한다.
• 실제 노이즈 제거 실험에서는 날카운 세부 구조를 효과적으로 복원하고 대trast를 유지하며, DIP(과도하게 매끄럽게 만듦) 및 N2V(심한 손상 상황에서 대trast 감소)를 능가한다.
• 다양한 HSI 데이터셋과 노이즈 유형에 걸쳐 안정적인 성능을 유지하며, 노이즈 특성이 알려지지 않은 블라인드 복원 설정에서도 강건성을 입증한다.
• 분리 가능 합성곱의 사용으로 모델 복잡도와 파라미터 수가 감소하면서도 높은 복원 품질을 유지함으로써 고차원 HSI 데이터에 대한 효율적인 훈련이 가능해진다.
• 청소된 훈련 데이터가 없이도 모든 평가 과제에서 최신 기술 수준의 성능을 달성하며, 가우시안 디노이징, 혼합 이상 제거, 실제 노이즈 제거 등에서 뛰어난 성능을 발휘한다.
• 이 방법은 딥러닝 기반 기술이 기존의 모델 기반 HSI 복원 기법보다 성능과 강건성 면에서 뛰어나다는 것을 처음으로 입증한 방법이다.