[논문 리뷰] MTS-CSNet: Multiscale Tensor Factorization for Deep Compressive Sensing on RGB Images

Mehmet Yamac, Lei Xu외 2명|arXiv (Cornell University)|2026. 02. 04.

Sparse and Compressive Sensing Techniques인용 수 0

한 줄 요약

MTS-CSNet은 Multiscale Tensor Summation을 학습 가능한 비반복 압축 센싱 연산자로 텐서 공간에서 사용하고, 이어서 경량 MTSNet 정제로 상태-최첨단 RGB 이미지 재구성을 달성합니다.

ABSTRACT

Deep learning based compressive sensing (CS) methods typically learn sampling operators using convolutional or block wise fully connected layers, which limit receptive fields and scale poorly for high dimensional data. We propose MTSCSNet, a CS framework based on Multiscale Tensor Summation (MTS) factorization, a structured operator for efficient multidimensional signal processing. MTS performs mode-wise linear transformations with multiscale summation, enabling large receptive fields and effective modeling of cross-dimensional correlations. In MTSCSNet, MTS is first used as a learnable CS operator that performs linear dimensionality reduction in tensor space, with its adjoint defining the initial back-projection, and is then applied in the reconstruction stage to directly refine this estimate. This results in a simple feed-forward architecture without iterative or proximal optimization, while remaining parameter and computation efficient. Experiments on standard CS benchmarks show that MTSCSNet achieves state-of-the-art reconstruction performance on RGB images, with notable PSNR gains and faster inference, even compared to recent diffusion-based CS methods, while using a significantly more compact feed-forward architecture.

연구 동기 및 목표

• 압축 센싱 제약 하에서 고차원 RGB 데이터의 효율적 재구성을 추진한다.
• 학습 가능한 CS 연산자로 구조화된 다중 스케일 텐서 연산자(MTS)를 도입한다.
• MTS 센싱, 어댑트 역투영, 그리고 MTSNet 정합을 결합한 비반복 엔드투엔드 아키텍처를 제공한다.
• 확산 기반 CS 방법과 비교하여 재구성 품질이 개선되고 계산 비용이 감소함을 입증한다.

제안 방법

• Multiscale Tensor Summation (MTS)을 텐서 공간에서 여러 스케일에 걸쳐 모드별 투영을 직접 수행하는 학습 가능한 CS 연산자로 채택한다.
• MTS를 패치 임베딩 및 역 임베딩 연산자로 구성된 패치-멜로다인 프로젝션의 스케일 합으로 정의한다.
• 역투영 이전에 비선형 MHG 활성화를 이용한 어댑트 MTS를 사용하여 초기 프록시 재구성을 얻는다.
• 여러 MTSBlocks로 구성된 경량 MTSNet으로 프록시를 정제하여 재구성 품질을 향상시킨다.
• 전체 파이프라인을 반복 최적화 없이 순방향 전파 방식으로 엔드투엔드로 학습한다.

실험 결과

연구 질문

• RQ1 다중 스케일 텐서 기반 CS 연산자가 블록 기반 설계보다 글로벌 공간 상관 및 채널 간 상관을 더 효과적으로 포착할 수 있는가?
• RQ2 비선형 어댑트 역투영이 선형 역투영에 비해 초기 재구성 품질을 개선하는가?
• RQ3 MTS의 깊이 T와 블록 수 NB를 변화시켰을 때 재구성 품질 및 효율성에 어떤 영향이 있는가?
• RQ4 MTS-CSNet이 PSNR/SSIM 및 런타임 측면에서 상태-최첨단 확산 기반 CS 방법과 비교해 어떤 성능 차이를 보이는가?

주요 결과

• MTS-CSNet은 Urban100 및 DIV2K 벤치마크에서 다수의 샘플링 비율에서 RGB 이미지에 대한 상태-최첨단 재구성을 달성한다.
• 48스텝, 3-블록 변형은 경쟁 방법에 비해 눈에 띄는 PSNR/SSIM 이득을 제공하며 30% 및 50% 샘플링 비율에서 최우수 혹은 2위의 성능을 보인다.
• 모델은 확산 기반 및 기타 CS 방법에 비해 저 CS 비율에서 파라미터 수, 메모리 사용량, GFLOPs, 추론 시간 측면에서 현저히 낮은 수치를 나타낸다.
• 역투영에서의 비선형 MHG 활성화로 프록시 재구성 품질이 크게 개선된다.
• MTS 블록 수를 증가시킬수록 데이터셋 전반에서 재구성 성능이 일관되게 향상된다.
• 이 방법은 비반복적이면서도 빠른 재구성을 제공하며 정확도 면에서 경쟁력 또는 우수한 성능을 유지한다.