[논문 리뷰] A Fast Alternating Minimization Algorithm for Coded Aperture Snapshot Spectral Imaging Based on Sparsity and Deep Image Priors

Qile Zhao, Xianhong Zhao외 3명|arXiv (Cornell University)|2022. 06. 12.

Sparse and Compressive Sensing Techniques인용 수 4

한 줄 요약

이 논문은 희소성과 딥 이미지 프리오르(DIP)를 활용하여 학습 데이터가 필요 없이 고분광 영상(HSI)을 재구성하는 빠른 교차 최소화 알고리즘인 Fama-SDIP을 제안한다. 압축 측정 기반의 분할 브레그만 프레임워크를 통해 DIP를 통합함으로써, 시뮬레이션 및 실제 실험에서 기존의 비지도 및 지도 학습 방법보다 뛰어난 재구성 품질을 달성하며, 11분 이내에 완료된다.

ABSTRACT

Coded aperture snapshot spectral imaging (CASSI) is a technique used to reconstruct three-dimensional hyperspectral images (HSIs) from one or several two-dimensional projection measurements. However, fewer projection measurements or more spectral channels leads to a severly ill-posed problem, in which case regularization methods have to be applied. In order to significantly improve the accuracy of reconstruction, this paper proposes a fast alternating minimization algorithm based on the sparsity and deep image priors (Fama-SDIP) of natural images. By integrating deep image prior (DIP) into the principle of compressive sensing (CS) reconstruction, the proposed algorithm can achieve state-of-the-art results without any training dataset. Extensive experiments show that Fama-SDIP method significantly outperforms prevailing leading methods on simulation and real HSI datasets.

연구 동기 및 목표

• 적은 측정값이나 높은 스펙트럼 채널을 사용할 경우 발생하는 CASSI 재구성의 과도하게 불안정한 성질을 해결하기 위해.
• 대규모 학습 데이터셋이 필요 없는 재구성 알고리즘을 개발하여 지도 학습 기반 딥 러닝 방법의 한계를 극복하기 위해.
• 희소성 프리오르와 딥 이미지 프리오르(DIP)를 유기적으로 융합하여 재구성 정확도와 속도를 향상시키기 위해.
• 단일 통합 프레임워크를 사용하여 시뮬레이션 및 실제 CASSI 실험에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 압축 측정 원리에 기반하여 희소성과 DIP 정규화를 적용한 제약 조건이 있는 최적화 문제로 CASSI 재구성을 공식화한다.
• 데이터 적합성 항목을 최소화하고 희소성 및 DIP 제약 조건을 강제하기 위해 분할 브레그만 알고리즘을 사용한다.
• 학습 없이 최적화 과정을 통해 이미지 프리오르를 암묵적으로 학습하는 생성 신경망을 통해 딥 이미지 프리오르를 구현한다.
• 모서리 보존과 노이즈 감소를 위해 고분광 큐브에 3D 총변동(TV) 노름을 통해 희소성을 강제한다.
• 수렴 속도를 향상시키기 위해 희소성 기반 재구성에서 온 따뜻한 시작(warm start)을 사용한다.
• 교차 최소화 방식은 분할 브레그만 프레임워크 내에서 HSI 추정치와 보조 변수를 번갈아가며 갱신한다.

실험 결과

연구 질문

• RQ1 희소성과 딥 이미지 프리오르를 융합한 학습이 필요 없는 방법이 CASSI에서 뛰어난 HSI 재구성 성능을 달성할 수 있는가?
• RQ2 제안된 Fama-SDIP 알고리즘이 지도 및 비지도 기반 기준 대비 재구성 품질과 속도 측면에서 어떻게 비교되는가?
• RQ3 DIP와 희소성 프리오르를 융합하여 레이블이 없는 데이터로도 과도하게 불안정한 CASSI 역문제를 효과적으로 정규화할 수 있는가?
• RQ4 저신호 조건이나 실제 측정 노이즈 상황에서도 이 방법이 높은 스펙트럼 정확도와 공간 세부 정보를 유지하는가?

주요 결과

• Fama-SDIP는 시뮬레이션 및 실제 CASSI 데이터셋에서 모두 최신 기술 수준의 성능을 달성하여, GPSR, TwIST, GAP-TV, PnP-DIP, DGSMP보다 PSNR 및 SSIM 측면에서 뚜렷이 뛰어난 성능을 보였다.
• 18개의 스펙트럼 채널과 512×512 공간 해상도를 가진 실제 데이터에서 Fama-SDIP는 모든 비교 방법보다 더 선명한 모서리와 더 적은 아티팩트를 생성했다.
• Fama-SDIP는 단지 10.75분 만에 HSI를 재구성하여 PnP-DIP(115.63분) 대비 10배 이상의 속도 향상을 보였으며, 더 나은 결과를 제공했다.
• 선택된 영역에서 기준 스펙트럼과의 상관관계가 r > 0.98로 매우 높아, 뛰어난 스펙트럼 정밀도를 입증했다.
• 실제 환경 조건에서도 강인한 성능을 보였으며, 도메인 분포의 변화로 인해 PnP-HSI는 GAP-TV보다도 성능이 열등함에도 불구하고 Fama-SDIP는 이를 모두 앞섰다.
• 희소성 기반 따뜻한 시작을 사용함으로써 교차 최소화 과정의 수렴 속도가 빨라지고 안정성이 향상되었다.