[논문 리뷰] Self-supervised Neural Networks for Spectral Snapshot Compressive Imaging

Ziyi Meng, Zhenming Yu외 2명|arXiv (Cornell University)|2021. 08. 28.

Sparse and Compressive Sensing Techniques참고 문헌 54인용 수 6

한 줄 요약

이 논문은 학습 데이터가 필요 없이 압축 측정값만을 이용해 자기지도 학습(self-supervised) 신경망 프레임워크를 제안하며, 플러그-앤플레이(Plug-and-Play, PnP) 최적화 체계 내에서 훈련되지 않은 깊은 신경망(DNN)을 사전 지식(prior)으로 활용함으로써 스펙트럼 스냅샷 압축 촬영(Spectral Snapshot Compressive Imaging, SCI) 재구성에 응용한다. 이 방법은 합성 및 실재 데이터셋 모두에서 경쟁적인 재구성 품질을 달성하며, 특히 사전 훈련된 고분광 이미지 노이즈 제거 사전 지식과 조합할 경우 실재 노이즈 조건에서 최신 기술 수준(SOTA)의 성능을 보여주며, 우수한 일반화 능력을 입증한다.

ABSTRACT

We consider using {\bf\em untrained neural networks} to solve the reconstruction problem of snapshot compressive imaging (SCI), which uses a two-dimensional (2D) detector to capture a high-dimensional (usually 3D) data-cube in a compressed manner. Various SCI systems have been built in recent years to capture data such as high-speed videos, hyperspectral images, and the state-of-the-art reconstruction is obtained by the deep neural networks. However, most of these networks are trained in an end-to-end manner by a large amount of corpus with sometimes simulated ground truth, measurement pairs. In this paper, inspired by the untrained neural networks such as deep image priors (DIP) and deep decoders, we develop a framework by integrating DIP into the plug-and-play regime, leading to a self-supervised network for spectral SCI reconstruction. Extensive synthetic and real data results show that the proposed algorithm without training is capable of achieving competitive results to the training based networks. Furthermore, by integrating the proposed method with a pre-trained deep denoising prior, we have achieved state-of-the-art results. {Our code is available at \url{https://github.com/mengziyi64/CASSI-Self-Supervised}.}

연구 동기 및 목표

• 딥 러닝 기반 스펙트럼 SCI 재구성에 있어 충분한 실세계 훈련 데이터 부족 문제를 해결하여, 새로운 시나리오에 대한 일반화 능력을 향상시키기 위해.
• 훈련 데이터에 존재하지 않는 스펙트럼(예: Bird 데이터셋)에 대해 실패하는 감독 기반 네트워크의 한계를 극복하기 위해.
• 라벨이 있는 훈련 데이터가 전혀 필요 없이도 깊은 신경망 사전 지식을 활용하는 재구성 프레임워크를 개발하기 위해.
• 실제 측정 노이즈, 특히 포isson 노이즈에 대해 강건한 성능을 확보하기 위해.
• 사전 훈련된 깊은 노이즈 제거 사전 지식과의 통합을 통해 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 압축 측정값만으로 자기지도 학습을 가능하게 하기 위해, 딥 이미지 프라이어르(Depth Image Prior, DIP)를 플러그-앤플레이(PnP) 최적화 프레임워크에 통합한다.
• 반복적인 PnP 단계에서 신경망 가중치와 3D 데이터 큐브 재구성을 동시에 최적화하기 위해 분할 경량화 다변수 최적화 방법(Alternating Direction Method of Multipliers, ADMM)을 사용한다.
• 훈련되지 않은 DNN가 솔루션 공간을 정규화하는 사전 지식으로 기능하도록 제약 조건 최적화 문제로 재구성 문제를 수립한다.
• 실재 데이터 실험에서 수렴 속도를 향상시키고 초기화 품질을 개선하기 위해 총 변동성(Total Variation, TV) 사전 지식을 온전한 시작(Warm start)으로 적용한다.
• 고분광 이미지 노이즈 제거 네트워크(Hyperspectral Image Denoising Network, HSI-DN)를 사전 훈련한 것을 활용하여 PnP-DIP 프레임워크와 융합함으로써 성능을 향상시키고, 공동 재구성 사전 지식을 구성한다.
• 라벨 없이도 데이터셋 별로 네트워크 아키텍처와 하이퍼파라미터를 미세 조정(Fine-tuning)하여 적용한다.

실험 결과

연구 질문

• RQ1 훈련 데이터가 전혀 없이도 훈련되지 않은 깊은 신경망이 스펙트럼 SCI 재구성에 효과적인 사전 지식으로 기능할 수 있는가?
• RQ2 DIP를 PnP 프레임워크에 통합할 경우, 직접 DIP를 적용하거나 감독 기반 네트워크를 사용하는 것보다 비침습적 데이터에 대해 더 높은 재구성 품질을 달성할 수 있는가?
• RQ3 실제 SCI 측정에서 흔한 포isson 노이즈 조건 하에서 제안된 자기지도 학습 방법의 성능은 어떠한가?
• RQ4 사전 훈련된 깊은 노이즈 제거 사전 지식과의 융합을 통해 자기지도 학습 방법의 성능을 추가로 향상시킬 수 있는가?
• RQ5 다양한 스펙트럼 SCI 시스템, 특히 훈련 데이터가 제한되거나 전혀 없는 경우에도 제안된 프레임워크는 강건한가?

주요 결과

• 제안된 자기지도 학습 PnP-DIP 방법은 합성 및 실재 데이터셋 모두에서 TSA-Net과 같은 최신 감독 기반 딥 러닝 네트워크와 비교해 유사한 재구성 품질을 달성한다.
• 실재 CASSI 데이터(예: 레고 식물 및 딸기)에서, 특히 선택된 영역의 스펙트럼 곡선에서 TSA-Net과 ADMM-TV보다 더 적은 잡음과 더 높은 스펙트럼 정확도를 보인다.
• 24개의 스펙트럼 채널을 가진 내시경 이미지 데이터에서는 ADMM-TV와 훈련된 DNN보다 더 높은 공간 해상도와 더 깔끔한 세부 정보를 복원하며, 더 정확한 스펙트럼 프로파일을 회복한다.
• 포isson 노이즈에 대해 뛰어난 강건성을 보이며, 저 SNR 환경(예: 25dB SNR)에서 감독 기반 기준선보다 낮은 재구성 오차를 유지한다.
• 사전 훈련된 HSI 노이즈 제거 사전 지식과 융합할 경우, 훈련 데이터가 전혀 없는 다양한 SCI 시스템에서의 모든 테스트 데이터셋에서 최신 기술 수준의 결과를 달성한다.
• 감독 기반 방법보다 잡음이 적고 더 낮은 잡음 수준을 보이는 어려운 데이터셋인 개 후각 막대 섹션(Dog olfactory membrane section)에서도 효과적으로 잡음과 아티팩트를 감소시킨다.