[논문 리뷰] Deep Equilibrium Models for Video Snapshot Compressive Imaging

Yaping Zhao, Siming Zheng외 1명|arXiv (Cornell University)|2022. 01. 18.

Sparse and Compressive Sensing Techniques인용 수 10

한 줄 요약

이 논문은 영상 스퍼플릿 압축 영상(Video Snapshot Compressive Imaging, SCI)을 위한 딥 에คว일리브리엄 모델(Deep Equilibrium Models, DEQ)을 제안한다. 이는 비선형 확장성 없는 연산자를 학습하고 고정점 해를 해석적으로 계산하여 일정한 메모리로 이론적으로 무한한 깊이의 네트워크를 가능하게 한다. 이 방법은 초파라미터 조정 없이도 안정적이고 고해상도 재구성 성능을 달성하며, 시뮬레이션 및 실세계 데이터에서 기존의 RNN 및 PnP 기반 모델을 능가한다.

ABSTRACT

The ability of snapshot compressive imaging (SCI) systems to efficiently capture high-dimensional (HD) data has led to an inverse problem, which consists of recovering the HD signal from the compressed and noisy measurement. While reconstruction algorithms grow fast to solve it with the recent advances of deep learning, the fundamental issue of accurate and stable recovery remains. To this end, we propose deep equilibrium models (DEQ) for video SCI, fusing data-driven regularization and stable convergence in a theoretically sound manner. Each equilibrium model implicitly learns a nonexpansive operator and analytically computes the fixed point, thus enabling unlimited iterative steps and infinite network depth with only a constant memory requirement in training and testing. Specifically, we demonstrate how DEQ can be applied to two existing models for video SCI reconstruction: recurrent neural networks (RNN) and Plug-and-Play (PnP) algorithms. On a variety of datasets and real data, both quantitative and qualitative evaluations of our results demonstrate the effectiveness and stability of our proposed method. The code and models are available at: https://github.com/IndigoPurple/DEQSCI .

연구 동기 및 목표

• 딥 러닝 기반 영상 스퍼플릿 압축 영상(Video Snapshot Compressive Imaging, SCI) 재구성 방법의 불안정성과 메모리 비효율성을 해결한다.
• 고정된 깊이의 네트워크와 반복 알고리즘의 한계를 극복하며, 수동적인 초파라미터 조정이 필요한 문제를 해결한다.
• 학습 및 추론 중 일정한 메모리 사용량을 유지하면서도 이론적으로 무한한 최적화 단계를 가능하게 한다.
• 균형 네트워크 내에 비확장성 연산자를 통합하여 고정점 안정성의 이론적 조건을 만족함으로써 수렴 가능한 안정적이고 고품질의 재구성 결과를 보장한다.
• 기존의 SCI 프레임워크인 RNN 및 플러그 앤 플레이(Plug-and-Play, PnP)에 DEQ를 통합하여 아키텍처 재설계 없이 성능 향상을 이룬다.

제안 방법

• 재구성 과정을 학습된 비확장성 연산자의 고정점 반복으로 모델링하여 영상 SCI에 대해 딥 에퀴리브리엄 모델(Deep Equilibrium Models, DEQ)을 적용한다.
• 신경망을 통해 고정점 연산자를 암묵적으로 정의함으로써 명시적인 깊이를 반복적 고정점 계산으로 대체한다.
• 암묵함수정리에 따라 고정점을 해석적으로 계산함으로써 학습 및 추론 중 일정한 메모리로 이론적으로 무한한 깊이를 구현한다.
• 기존의 두 SCI 프레임워크인 순환 신경망(Recurrent Neural Networks, RNN)과 GAP 노이즈 제거기 기반 플러그 앤 플레이(Plug-and-Play, PnP)에 DEQ를 통합한다(각각 DE-RNN 및 DE-GAP로 표기).
• 신경망이 비확장성 연산자를 생성하도록 훈련시켜 고정점 안정성에 대한 이론적 조건을 만족함으로써 수렴성을 보장한다.
• 정확한 기울기(gradient)를 활용한 훈련을 수행하며, 향후 불완전 기울기(inexact gradients)로의 확장 가능성을 고려한다.

실험 결과

연구 질문

• RQ1 딥 에퀴리브리엄 모델(DEQ)은 무한한 반복 단계와 일정한 메모리 사용량을 바탕으로 안정적이고 정확한 영상 SCI 재구성 성능을 제공할 수 있는가?
• RQ2 DEQ는 기존의 RNN 기반 및 PnP 기반 SCI 재구성 프레임워크의 안정성과 성능을 어떻게 향상시키는가?
• RQ3 DEQ는 반복적 SCI 재구성에서 초파라미터 조정이 필요 없이도 재구성 품질을 유지하거나 향상시킬 수 있는가?
• RQ4 DEQ의 고정점 계산 방식은 유한 깊이를 가진 표준 반복 네트워크에 비해 더 나은 수렴 행동을 보이는가?
• RQ5 DEQ 기반 방법은 영상 SCI의 실세계 노이즈 측정치에 대해 일반화 성능을 잘 보이는가?

주요 결과

• 제안된 DE-RNN 및 DE-GAP 모델은 반복 횟수가 증가함에 따라 안정적인 수렴을 보이며, 시간이 지남에 따라 재구성 품질이 향상되고 안정화된다.
• Water Balloon 및 Chopper Wheel와 같은 실세계 데이터셋에서 DE-GAP는 GAP-TV, DeSCI, PnP-FFDNet를 능가하여 잡음과 아티팩트를 줄이고 구조적 세부 정보를 잘 유지한다.
• DE-GAP 모델은 측정 당 처리 시간이 1.90초로, DeSCI(6180초)보다 훨씬 빠르며, 다른 최첨단 방법들과 경쟁 가능한 성능을 보인다.
• DE-RNN 및 DE-GAP는 시뮬레이션 데이터셋에서 기준 RNN 및 PnP 방법에 비해 더 높은 PSNR 및 SSIM 값을 기록하며 우수한 정량적 성능을 보였다.
• 실측 노이즈 수준이 높은 상황에서도 높은 재구성 품질을 유지하며, 강인성과 일반화 능력을 입증했다.
• 초기 실험 결과에 따르면, 불완전 기울기를 사용할 경우 역전파 속도가 1.3~1.5배 가속화되며, 향후 연구에서 훈련 효율 향상 가능성을 시사한다.