[논문 리뷰] Non-local Meets Global: An Iterative Paradigm for Hyperspectral Image Restoration

Wei He, Quanming Yao외 5명|arXiv (Cornell University)|2020. 10. 24.

Image and Signal Denoising Methods참고 문헌 88인용 수 22

한 줄 요약

이 논문은 감소된 이미지 정화를 위해 공유된 직교 기저를 학습하는 방식으로 비국소적 공간 유사성과 전반적인 스펙트럼 저질서 구조를 통합하는 새로운 반복적 고분광 이미지(HSI) 복원 프레임워크인 NGmeet를 제안한다. 잠재 이미지 추정, 기저 최적화, 랭크 적응을 통한 비국소적 저질서 정화를 번갈아 수행함으로써, 이전의 비국소적 저질서 방법에 비해 훨씬 낮은 계산 비용으로 노이즈 제거, 압축 복원, 인painting 작업 전반에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Non-local low-rank tensor approximation has been developed as a state-of-the-art method for hyperspectral image (HSI) restoration, which includes the tasks of denoising, compressed HSI reconstruction and inpainting. Unfortunately, while its restoration performance benefits from more spectral bands, its runtime also substantially increases. In this paper, we claim that the HSI lies in a global spectral low-rank subspace, and the spectral subspaces of each full band patch group should lie in this global low-rank subspace. This motivates us to propose a unified paradigm combining the spatial and spectral properties for HSI restoration. The proposed paradigm enjoys performance superiority from the non-local spatial denoising and light computation complexity from the low-rank orthogonal basis exploration. An efficient alternating minimization algorithm with rank adaptation is developed. It is done by first solving a fidelity term-related problem for the update of a latent input image, and then learning a low-dimensional orthogonal basis and the related reduced image from the latent input image. Subsequently, non-local low-rank denoising is developed to refine the reduced image and orthogonal basis iteratively. Finally, the experiments on HSI denoising, compressed reconstruction, and inpainting tasks, with both simulated and real datasets, demonstrate its superiority with respect to state-of-the-art HSI restoration methods.

연구 동기 및 목표

• 고분광 이미지(HSI) 복원에서 비국소적 저질서 텐서 방법의 높은 계산 비용 문제를 해결하기 위해, 특히 스펙트럼 차원이 증가할 경우의 비용을 줄이는 것.
• 모든 전체 밴드 패치 그룹이 동일한 저차원 스펙트럼 부분공간에 존재하는 고분광 이미지의 전반적인 스펙트럼 저질서 성질을 활용하는 것.
• 다양한 HSI 복원 작업을 위한 통합적이고 효율적인 프레임워크를 개발하여 공간적 비국소적 유사성과 스펙트럼 저질서 정규화를 통합하는 것.
• 노이즈 제거, 압축 복원, 인painting 작업에서 최신 기술 수준의 성능 유지를 또는 향상시키면서도 실행 시간을 단축시키는 것.

제안 방법

• HSI를 저차원 부분공간으로 투영하기 위해 전역 스펙트럼 직교 기저를 학습하여 효율적인 계산을 가능하게 한다.
• 잠재 입력 이미지, 스펙트럼 기저, 감소된 이미지를 동시에 최적화하기 위해 교대 최소화 알고리즘을 사용한다.
• 공간적 자기유사성을 패치 간에 활용하여 감소된 이미지와 기저에 대해 반복적으로 비국소적 저질서 정화를 적용한다.
• 반복 과정 중에 랭크 적응을 동적으로 수행하여 정확도와 수렴 속도를 향상시킨다.
• 일관된 최적화 체계를 사용하여 노이즈 제거, 압축 HSI 복원, 인painting의 세 가지 작업에 프레임워크를 적용한다.
• 비국소 단계에서 WNNM을 정화기로 사용하지만, 이는 다른 고급 정화 알고리즘과도 호환 가능하다.

실험 결과

연구 질문

• RQ1 비국소적 저질서 HSI 복원의 계산 부담을 줄이기 위해 전역 스펙트럼 저질서 구조를 효과적으로 활용할 수 있는가?
• RQ2 비국소적 공간 유사성과 전역 스펙트럼 저질서 성질을 함께 모델링하여 HSI 복원 성능을 향상시킬 수 있는가?
• RQ3 교대 최적화와 랭크 적응을 포함한 반복적 프레임워크가 기존 방법보다 더 나은 성능과 더 빠른 수렴을 이끌 수 있는가?
• RQ4 특정 작업용 훈련 데이터가 필요 없이 제안된 방법이 딥러닝 기반 접근법을 능가할 수 있는가?

주요 결과

• NGmeet는 시뮬레이션 및 실제 HSI 데이터셋에서 노이즈 제거, 압축 복원, 인painting 작업 전반에서 최신 기술 수준의 성능을 달성한다.
• 10밴드로 구성된 CAVE 데이터셋에서 NGmeet_V1(10밴드 버전)은 HSI-DeNet보다 우수한 성능을 보이며, PSNR 43.03 dB를 기록해 HSI-DeNet의 38.45 dB를 상회한다. 이는 HSI-DeNet이 다른 데이터셋에서 훈련된 점을 감안할 때 더욱 뚜렷한 성과이다.
• 모든 300밴드를 사용할 경우, CAVE 데이터셋에서 NGmeet는 PSNR 45.01 dB를 기록하여 WNNM(43.17 dB)과 WSNM(43.44 dB)을 크게 앞서며 성능을 뛰어나게 한다.
• NGmeet의 계산 시간은 스펙트럼 밴드 수가 증가함에 따라 거의 일정하게 유지되며, KBR와 LLRT는 뚜렷한 런타임 증가를 보여, 훨씬 뛰어난 확장성(스케일러빌리티)을 입증한다.
• 메서드는 매우 빠르게 수렴하며, WDC 데이터셋에서 다양한 노이즈 수준에서도 10~20회 반복 이내에 안정된 PSNR 값을 확보한다.
• WSNM을 정화기로 사용할 경우 WNNM보다 略적으로 더 좋은 결과를 얻었으며, 이는 프레임워크가 정화 알고리즘 선택에 대해 뛰어난 강건성을 지닌다는 것을 시사한다.