[논문 리뷰] FastHyMix: Fast and Parameter-free Hyperspectral Image Mixed Noise Removal

Lina Zhuang, Michael K. Ng|arXiv (Cornell University)|2021. 09. 18.

Image and Signal Denoising Methods참고 문헌 56인용 수 5

한 줄 요약

FastHyMix는 가우시안 혼합 모델(GMM)을 사용해 복잡한 노이즈를 모델링하고, 부분공간 표현과 딥 이미지 프리두를 통해 스펙트럼 저랭크성과 공간 상관성을 활용함으로써, 매개변수 없는 빠른 방법으로 혼합 노이즈 제거를 수행한다. 이는 합성 및 실세계 데이터셋에서 뛰어난 노이즈 제거 정확도와 효율성을 확보하면서도 뚜렷한 실행 시간 단축을 이룬다.

ABSTRACT

Hyperspectral imaging with high spectral resolution plays an important role in finding objects, identifying materials, or detecting processes. The decrease of the widths of spectral bands leads to a decrease in the signal-to-noise ratio (SNR) of measurements. The decreased SNR reduces the reliability of measured features or information extracted from HSIs. Furthermore, the image degradations linked with various mechanisms also result in different types of noise, such as Gaussian noise, impulse noise, deadlines, and stripes. This paper introduces a fast and parameter-free hyperspectral image mixed noise removal method (termed FastHyMix), which characterizes the complex distribution of mixed noise by using a Gaussian mixture model and exploits two main characteristics of hyperspectral data, namely low-rankness in the spectral domain and high correlation in the spatial domain. The Gaussian mixture model enables us to make a good estimation of Gaussian noise intensity and the location of sparse noise. The proposed method takes advantage of the low-rankness using subspace representation and the spatial correlation of HSIs by adding a powerful deep image prior, which is extracted from a neural denoising network. An exhaustive array of experiments and comparisons with state-of-the-art denoisers were carried out. The experimental results show significant improvement in both synthetic and real datasets. A MATLAB demo of this work will be available at https://github.com/LinaZhuang for the sake of reproducibility.

연구 동기 및 목표

• 가우시안, 임펄스, 스트라이프 노이즈 등 다양한 노이즈 유형으로 인해 고분광 이미지(HSI)의 신호 대 노이즈 비율이 저하되고 후속 분석에 악영향을 미치는 문제를 해결한다.
• 정규화 매개변수 수동 조정이 필요하거나 비정규 분포를 잘 다루지 못하는 기존 방법의 한계를 극복한다.
• 사용자 간섭 없이 노이즈 특성에 자동으로 적응하는 사용자 友好的이고 매개변수 없는 노이즈 제거 프레임워크를 개발한다.
• HSI의 두 가지 핵심 구조적 특성인 스펙트럼 도메인에서의 저랭크성과 높은 공간 상관성을 동시에 활용하여 노이즈 제거 성능을 향상시킨다.
• 높은 노이즈 제거 정확도와 동시에 빠른 계산 성능를 확보하여 실세계 HSI 응용에 실용적인 방법이 되도록 한다.

제안 방법

• 복합적인 노이즈 분포를 보편적인 근사로 제공하는 가우시안 혼합 모델(GMM)을 사용해 혼합 노이즈를 모델링하고, 밴드별 가우시안 노이즈 분산과 희소 노이즈 위치를 정확하게 추정한다.
• 청정 HSI가 낮은 차원의 부분공간에 위치해 있음을 가정하여 부분공간 표현을 통해 스펙트럼 저랭크성을 활용하고, 전반적인 노이즈 성분을 억제한다.
• 사전 학습된 신경망 기반 이미지 노이즈 제거 네트워크에서 추출한 딥 이미지 프리두를 통해 공간 상관성을 통합하고, 공간적 구조 유지를 위한 강력한 정규화 요소로 활용한다.
• GMM 기반의 노이즈 추정과 저랭크 및 딥 이미지 프리두 구성 요소를 플러그 앤 플레이 프레임워크에 통합하여, 명시적 닫힌 형태의 해가 필요 없는 효율적 최적화를 가능하게 한다.
• 비볼록성 및 비연속성 문제를 해결하기 위해 증분 승수법(ADMM) 또는 유사 최적화 기법을 사용하여 관측값에 대한 충실도와 구조적 사전 지식 간 균형을 확보한다.
• GMM에서 추정한 노이즈 통계에 기반해 정규화 매개변수를 자동으로 설정함으로써 수동 조정이 필요 없고, 사용자 우호성을 향상시킨다.

실험 결과

연구 질문

• RQ1 가우시안 혼합 모델(GMM)은 고분광 이미지에서 복잡하고 이질적인 혼합 노이즈(가우시안, 임펄스, 스트라이프) 분포를 효과적으로 포괄할 수 있는가?
• RQ2 손으로 설계한 사전 지식에 의존하지 않고 스펙트럼 저랭크성과 공간 상관성을 동시에 활용하여 노이즈 제거 성능를 향상시킬 수 있는가?
• RQ3 신경망 기반 노이즈 제거 네트워크에서 유도된 딥 이미지 프리두는 고분광 이미지의 공간적 구조를 효과적으로 정규화하면서 미세한 세부 정보를 유지할 수 있는가?
• RQ4 제안된 방법은 최소한의 계산 비용으로 최신 기술 수준의 노이즈 제거 성능를 달성할 수 있는가?
• RQ5 합성 및 실세계 고분광 이미지 데이터셋에서 FastHyMix는 기존 최신 기술 대비 정확도와 속도 면에서 어떻게 비교되는가?

주요 결과

• FastHyMix는 테스트된 모든 합성 및 실세계 데이터셋에서 최고의 평균 PSNR 및 MPSNR 성능를 기록했으며, NG-meet, LRMR, NonRLRS, KBR, NMoG, LRTF-DFR 등 최신 기술들을 모두 능가했다.
• 복잡한 혼합 노이즈(예: U(0.05, 0.10) 가우시안 노이즈, 30% 스트라이프 영향을 받은 밴드)가 포함된 Pavia University 데이터셋에서 FastHyMix는 MPSNR 38.21 dB를 기록했으며, 이는 두 번째로 뛰어난 방법(36.98 dB)보다 뚜렷한 우수성을 보였다.
• 실세계 실험에서 FastHyMix는 Tiangong-1 및 Hyperion Cuprite 데이터셋을 단 7초 만에 복원했으며, 다음으로 빠른 방법인 LRTF-DFR(58초)를 뛰어넘었고, 눈에 띄는 잔상 및 잘못된 조명을 제거했다.
• Hyperion Cuprite 데이터셋의 밴드 132, 134, 138에서 심한 스트라이프 노이즈를 성공적으로 제거했으며, 다른 방법들은 잔여 스트라이프를 남기고 말았지만 FastHyMix는 뚜렷한 시각적 청결도를 확보했다.
• 최소값, 무작위값, 최대값 스트라이프 노이즈를 포함한 다양한 노이즈 설정에 대해 뛰어난 강인성을 보였고, 모든 케이스에서 일관된 성능 향상을 확보했다.
• GMM 기반 노이즈 추정에 기반한 적응형 정규화에 기반한 매개변수 없는 설계 덕분에 수동 조정이 불필요하여 실용적 응용에서의 사용성 향상에 기여했다.