[논문 리뷰] D3C2-Net: Dual-Domain Deep Convolutional Coding Network for Compressive Sensing

Weiqi Li, Bin Chen외 5명|arXiv (Cornell University)|2022. 07. 27.

Sparse and Compressive Sensing Techniques인용 수 8

한 줄 요약

이 논문은 이미지 도메인과 컨volution 코딩 도메인의 사전을 통합하여 특징 표현을 향상시키는 압축 감지용 새로운 双도메 딥 컨volution 코딩 네트워크인 D³C²-Net을 제안한다. 일반화된 최적화 프레임워크를 단계 간 다중 채널 특징 전달을 갖는 딥 네트워크로 전개함으로써 자연 이미지 및 MR 이미지에서 최신 기술 대비 뛰어난 재구성 정확도와 우수한 정확도-복잡도 트레이드오프를 달성한다.

ABSTRACT

By mapping iterative optimization algorithms into neural networks (NNs), deep unfolding networks (DUNs) exhibit well-defined and interpretable structures and achieve remarkable success in the field of compressive sensing (CS). However, most existing DUNs solely rely on the image-domain unfolding, which restricts the information transmission capacity and reconstruction flexibility, leading to their loss of image details and unsatisfactory performance. To overcome these limitations, this paper develops a dual-domain optimization framework that combines the priors of (1) image- and (2) convolutional-coding-domains and offers generality to CS and other inverse imaging tasks. By converting this optimization framework into deep NN structures, we present a Dual-Domain Deep Convolutional Coding Network (D3C2-Net), which enjoys the ability to efficiently transmit high-capacity self-adaptive convolutional features across all its unfolded stages. Our theoretical analyses and experiments on simulated and real captured data, covering 2D and 3D natural, medical, and scientific signals, demonstrate the effectiveness, practicality, superior performance, and generalization ability of our method over other competing approaches and its significant potential in achieving a balance among accuracy, complexity, and interpretability. Code is available at https://github.com/lwq20020127/D3C2-Net.

연구 동기 및 목표

• 단일 채널 이미지 표현을 사용하는 기존 딥 언폴딩 네트워크(DUNs)에서의 제한된 특징 전달과 세부 정보 손실 문제를 해결하기 위해.
• 해결 공간을 제약하는 데 사용할 수 있는 이미지 도메인과 컨volution 코딩 도메인 사전을 통합한 일반화 가능한 최적화 프레임워크를 개발하기 위해.
• 모든 단계에서 고속도, 다중 채널 특징 표현을 전달할 수 있는 딥 신경망 아키텍처를 설계하여 재구성 정밀도를 향상시키기 위해.
• 최신 기술 대비 더 높은 재구성 정확도와 더 나은 복잡도-정확도 트레이드오프를 달성하기 위해.

제안 방법

• 이미지 도메인과 컨volution 코딩 도메인 사전을 통합하여 해결 공간 내 보다 제약된 가능 영역을 정의하는 일반화된 이중 도메인 최적화 프레임워크를 제안한다.
• 제안된 프레임워크를 딥 신경망으로 전개하여 다중 채널 특징 맵을 중간 표현으로 사용하는 엔드 투 엔드 학습을 가능하게 한다.
• 이미지를 컨볼루션 사전 필터와 특징 맵의 합으로 표현하는 컨볼루션 코딩 모델을 사용한다: $\mathbf{x} = \sum_{i=1}^{C} \boldsymbol{d}_i \ast \boldsymbol{\alpha}_i$, 여기서 $\mathbf{D} \in \mathbb{R}^{C \times k \times k}$ 이고 $\boldsymbol{\alpha} \in \mathbb{R}^{C \times h \times w}$ 이다.
• 학습 중에 공동 최적화되는 학습 가능한 컨볼루션 사전 $\mathbf{D}$ 와 특징 맵 $\boldsymbol{\alpha}$ 를 도입하여 적응형이고 풍부한 이미지 표현을 가능하게 한다.
• 각 단계에서 다중 채널 특징을 처리하는 DUN 아키텍처를 설계하여 고속도 정보 흐름을 유지하고 정보 손실을 줄인다.
• 재구성 손실과 정규화를 사용하는 엔드 투 엔드 학습을 통해 네트워크 파라미터, 특히 사전과 특징 맵을 최적화한다.

실험 결과

연구 질문

• RQ1 이미지 도메인과 컨볼루션 코딩 도메인 사전을 통합한 이중 도메인 최적화 프레임워크가 압축 감지 재구성의 타당성과 정확도를 향상시킬 수 있는가?
• RQ2 단계 간 다중 채널 특징 표현은 딥 언폴딩 네트워크에서 재구성 품질과 정보 전달에 어떤 영향을 미치는가?
• RQ3 고정되거나 희박성 기반 사전에 비해 학습 가능한 컨볼루션 사전이 이미지 표현과 재구성 정밀도를 향상시킬 수 있는가?
• RQ4 제안된 D³C²-Net은 기존 최신 기술 대비 더 나은 정확도-복잡도 트레이드오프를 달성하는가?
• RQ5 제안된 프레임워크는 이미지 복원을 초월하여 더 넓은 역영상 문제에 일반화될 수 있는가?

주요 결과

• 30% 샘플링 비율에서 Set11 데이터셋에서 D³C²-Net은 PSNR 44.63 dB, SSIM 0.9811을 달성하여 다음으로 우수한 방법(MADUN)보다 PSNR 0.43 dB 높고 SSIM 0.0015 높다.
• 30% 샘플링 비율에서 Set11 데이터셋에서 D³C²-Net은 PSNR 43.14 dB, SSIM 0.9748를 달성하여 ISTA-Net+ (42.65 dB / 0.9727) 와 MoDL (42.38 dB / 0.9705) 를 상당히 앞서며 성능을 뛰어나게 한다.
• D³C²-Net의 학습된 컨볼루션 사전과 특징 맵은 저주파 성분과 고주파 성분을 효과적으로 분리하며, 한 채널이 항상 단계 간 저주파 성분을 유지한다.
• 시각화 결과는 D³C²-Net이 이미지를 한 개의 저주파 성분과 다수의 고주파 성분의 합으로 표현함으로써 재구성 과정에서 세부 정보를 더 잘 유지함을 확인한다.
• 자연 이미지와 MR 이미지 모두에서 네트워크는 뛰어난 일반화 능력과 강건성을 보이며 다양한 데이터셋과 샘플링 비율에서 일관된 성능 향상을 달성한다.
• 컨볼루션 사전와 특징 맵의 엔드 투 엔드 학습은 고정되거나 희박성 기반 사전에 의존하는 방법을 뛰어넘는 적응형 데이터 기반 표현 학습을 가능하게 한다.