[논문 리뷰] Ensemble learning priors unfolding for scalable Snapshot Compressive Sensing

Chengshuai Yang, Shiyu Zhang외 1명|arXiv (Cornell University)|2022. 01. 25.

Sparse and Compressive Sensing Techniques인용 수 5

한 줄 요약

이 논문은 스케일러블한 비디오 스퍼터 컴pressive 이미징를 위한 딥러닝 기반 방법인 앙상블 학습 사전 해체(ELP-Unfolding)을 제안한다. 이는 앙상블 학습과 딥 언폴딩을 융합하여 최신 기술 수준의 재구성 정확도와 속도를 달성한다. 단일 스테이지 프레임워크 내에서 다수의 신경망 사전을 통합하고 밀도 높은 스킵 연결을 활용함으로써, 재구성 정확도는 향상시키면서도 최소한의 추론 시간으로 벤치마크 데이터에서 35.41 dB PSNR, 0.969 SSIM 성능을 달성한다. 이는 재훈련 없이도 다양한 압축 비율과 시스템 구성에 대해 확장 가능한 성능을 제공한다.

ABSTRACT

Snapshot compressive imaging (SCI) can record the 3D information by a 2D measurement and from this 2D measurement to reconstruct the original 3D information by reconstruction algorithm. As we can see, the reconstruction algorithm plays a vital role in SCI. Recently, deep learning algorithm show its outstanding ability, outperforming the traditional algorithm. Therefore, to improve deep learning algorithm reconstruction accuracy is an inevitable topic for SCI. Besides, deep learning algorithms are usually limited by scalability, and a well trained model in general can not be applied to new systems if lacking the new training process. To address these problems, we develop the ensemble learning priors to further improve the reconstruction accuracy and propose the scalable learning to empower deep learning the scalability just like the traditional algorithm. What's more, our algorithm has achieved the state-of-the-art results, outperforming existing algorithms. Extensive results on both simulation and real datasets demonstrate the superiority of our proposed algorithm. The code and models will be released to the public.

연구 동기 및 목표

• 딥러닝 기반 스퍼처 컴프레시브 이미징(Sci)에서 재구성 속도와 정확도 사이의 상충 관계를 해결하기 위해.
• 기존 딥러닝 모델의 확장성 한계를 극복하기 위해 새로운 시스템이나 압축 비율에 대해 재훈련이 필요로 하는 문제를 해결하기 위해.
• 추론 시간을 증가시키지 않으면서도 딥 언폴딩 프레임워크 내에서 앙상블 학습을 활용하여 재구성 성능을 향상시키기 위해.
• 다양한 공간적 및 시간적 차원에서 높은 성능을 유지하는 완전한 컨volutional, 확장 가능한 학습 절차를 개발하기 위해.

제안 방법

• 각 언폴딩 스테이지에서 다수의 신경망 디노이징 기반 사전(기본)을 통합하여 재구성 정확도를 향상시키는 앙상블 학습 사전 해체 프레임워크를 도입한다.
• 특징 재사용과 정보 흐름 향상을 위해 사전 간에 밀도 높은 스킵 연결을 활용하며, 간단한 덧셈과 연결 연산을 사용한다.
• 다양한 이미지 크기에서 공간적 확장성을 보장하기 위해 다층 퍼셉트론(MLP)을 사용하지 않는 완전한 컨volutional 네트워크 아키텍처를 설계한다.
• 다른 시간 길이에서 일관된 입력 채널 차원을 유지함으로써 시간적 확장성을 확보하여, 하나의 모델이 다양한 프레임 수를 처리할 수 있도록 한다.
• 재훈련 없이도 새로운 마스크와 압축 비율을 가진 시스템에 일반화할 수 있도록 훈련 중에 확장 가능한 학습 절차를 개발한다.
• 다양한 데이터 분포를 통합함으로써 다양한 시스템 변형에 대한 강건성과 일반화 능력을 향상시키는 통합된 훈련 전략을 사용한다.

실험 결과

연구 질문

• RQ1 다수의 신경망 사전을 앙상블하는 방식이 추론 시간을 증가시키지 않으면서도 딥 언폴딩 기반 스퍼처 컴프레시브 이미징의 재구성 정확도를 향상시킬 수 있는가?
• RQ2 딥 언폴딩 모델이 재훈련 없이도 다양한 공간적 및 시간적 차원에서 확장 가능하게 만들 수 있는가?
• RQ3 밀도 높은 스킵 연결이 제안된 ELP-Unfolding 프레임워크에서 성능과 특징 전파에 미치는 영향은 무엇인가?
• RQ4 제안된 확장 가능한 학습 절차가 기존의 플러그 앤 플레이(PnP) 방법에 비해 정확도와 속도 측면에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 한 번의 훈련으로 완성된 통합 모델이 다양한 노이즈 수준과 시스템 구성이 있는 실세계 데이터셋에서도 높은 성능을 달성할 수 있는가?

주요 결과

• ELP-Unfolding은 벤치마크 데이터셋에서 기존의 Dense3D-Unfolding을 능가하는 최신 기술 수준의 PSNR 35.41 dB, SSIM 0.969를 달성했으며, 추론 시간은 크게 줄였다.
• 모델의 테스트 시간은 단 0.967초에 불과하여 기존의 가장 빠른 방법들과 비교해도 뛰어난 고속 재구성 성능를 보였다.
• 작은 모델(128채널)을 사용할 경우 앙상블 사전의 활용으로 평균 1.75 dB 이상의 PSNR 향상을 달성했으며, 훈련 및 추론 시간은 증가하지 않았다.
• 밀도 높은 스킵 연결은 성능 향상에 크게 기여하였으며, 13단계, 6개의 사전을 가진 모델은 연결이 없는 경우 대비 35.41 dB PSNR를 달성했다.
• 확장 가능한 학습 절차 덕분에 하나의 훈련된 모델이 다양한 압축 비율과 시스템 구성, 실세계 데이터셋(Chopwheel, WaterBalloon, Duomino, Hand)에서 데이터를 재구성할 수 있었다.
• 이번에 처음으로 딥러닝 모델이 과거의 방법들이 높은 노이즈 수준로 인해 재구성에 실패했던 과도한 노이즈를 가진 실세계 데이터셋 'Hand'를 성공적으로 재구성했다.