[논문 리뷰] Practical Operator Sketching Framework for Accelerating Iterative Data-Driven Solutions in Inverse Problems

Junqi Tang, Xu, Guixian외 2명|arXiv (Cornell University)|2022. 08. 31.

Sparse and Compressive Sensing Techniques인용 수 5

한 줄 요약

이 논문은 심층 언롤링 네트워크의 계산 비용을 줄이기 위해 확률적 최적화와 연산자 스케칭을 활용하는 실용적인 프레임워크를 제안한다. 미니배치 기반 경사하강법과 스케칭을 통한 차원 축소를 조합함으로써 제안된 학습된 확률적 원-대안(LSPD) 및 스케칭된 LSPD(SkLSPD) 네트워크는 특히 고차원 X-ray CT 및 MRI 과제에서 상당히 감소된 계산 및 메모리 요구량으로 경쟁 가능한 재구성 정확도를 달성한다.

ABSTRACT

We propose a new operator-sketching paradigm for designing efficient iterative data-driven reconstruction (IDR) schemes, e.g. Plug-and-Play algorithms and deep unrolling networks. These IDR schemes are currently the state-of-the-art solutions for imaging inverse problems. However, for high-dimensional imaging tasks, especially X-ray CT and MRI imaging, these IDR schemes typically become inefficient both in terms of computation, due to the need of computing multiple times the high-dimensional forward and adjoint operators. In this work, we explore and propose a universal dimensionality reduction framework for accelerating IDR schemes in solving imaging inverse problems, based on leveraging the sketching techniques from stochastic optimization. Using this framework, we derive a number of accelerated IDR schemes, such as the plug-and-play multi-stage sketched gradient (PnP-MS2G) and sketching-based primal-dual (LSPD and Sk-LSPD) deep unrolling networks. Meanwhile, for fully accelerating PnP schemes when the denoisers are computationally expensive, we provide novel stochastic lazy denoising schemes (Lazy-PnP and Lazy-PnP-EQ), leveraging the ProxSkip scheme in optimization and equivariant image denoisers, which can massively accelerate the PnP algorithms with improved practicality. We provide theoretical analysis for recovery guarantees of instances of the proposed framework. Our numerical experiments on natural image processing and tomographic image reconstruction demonstrate the remarkable effectiveness of our sketched IDR schemes.

연구 동기 및 목표

• X-ray CT 및 MRI와 같은 고차원 영상 역문제에서 심층 언롤링 네트워크의 높은 계산 및 메모리 비용을 해결한다.
• 전체 배치 기반 심층 언롤링의 대안으로서 확장성 있고 효율적인 방법을 개발하기 위해 확률적 1차 최적화 원리를 통합한다.
• 스케칭 기법을 통해 고차원 연산자 곱의 차원 축소를 가능하게 하여 계산 비용을 줄인다.
• 제안된 확률적 및 스케칭된 언롤링 프레임워크에서 수렴성과 추정 오차에 대한 이론적 보장을 제공한다.
• 효율적인 인스턴스 적응형 미세조정 프레임워크를 통해 분포 외 일반화를 지원한다.

제안 방법

• 확률적 경사하강법을 사용하여 최첨단 학습된 원-대안(LPD) 프레임워크를 확장한 미니배치 기반 학습된 확률적 원-대안(LSPD) 네트워크를 제안한다.
• 고차원 영상 공간 내 곱 연산을 근사하기 위해 스케칭 기법을 적용한 스케칭된 LSPD(SkLSPD)를 도입한다. 이는 계산 비용을 감소시킨다.
• 크기 큰 전진 및 수반 연산자의 작용을 근사하기 위해 스케칭 행렬을 사용하며, $ A^T S_i^T S_i A $의 효율적 계산을 가능하게 한다. 여기서 $ S_i $ 는 스케칭 연산자이다.
• 스케칭을 확률적 언롤링과 통합하여 네트워크의 가속화와 압축을 동시에 달성하면서 성능을 유지한다.
• 이론적 분석은 확률적 비볼록 복합 최적화 기반이며, 표준 가정 하에 추정 오차에 대한 경계를 제공한다.
• 학습된 디노이징기와 확률적 경사 추정치 및 스케칭 근사값을 통합한 원-대안 언롤링 구조를 적용한다.

실험 결과

연구 질문

• RQ1 미니배치 기반 경사하강법을 사용한 확률적 언롤링은 고차원 영상 과제에서 전체 배치 기반 심층 언롤링과 비교해 유사한 재구성 정확도를 달성할 수 있는가?
• RQ2 스케칭 기법을 통해 심층 언롤링 네트워크의 계산 및 메모리 부담을 얼마나 줄일 수 있으며, 성능 저하 없이 수행 가능한가?
• RQ3 제안된 LSPD 및 SkLSPD 네트워크는 전체 배치 LPD와 비교해 저선량 및 희박시야 X-ray CT 재구성에서 어떻게 성능을 내는가?
• RQ4 제안된 프레임워크는 분포 외 데이터로 일반화 가능한가? 만약 그렇다면, 새로운 측정 조건에 대해 얼마나 효율적으로 미세조정이 가능한가?
• RQ5 확률적 및 스케칭된 언롤링 기법에 대해 수렴성과 추정 오차에 대해 어떤 이론적 보장을 확보할 수 있는가?

주요 결과

• LSPD 및 SkLSPD 네트워크는 전체 배치 LPD 네트워크와 비교해 유사한 재구성 정확도를 달성하면서도 계산 자원의 일부분만을 소비한다.
• 저선량 및 희박시야 X-ray CT 과제에서 제안된 방법은 상당히 감소된 메모리 및 계산 부담으로 높은 이미지 품질을 유지한다.
• 이론적 분석 결과, 표준 가정 하에 LSPD 및 SkLSPD의 추정 오차는 전체 배치 대비와 유사하게 경계되어 있음을 확인했다.
• SkLSPD 변형은 스케칭을 통해 고차원 연산자 곱을 근사함으로써 추가적인 가속화를 달성했으며, 성능 저하가 최소한이었다.
• 인스턴스 적응형 프레임워크를 통해 분포 외 데이터에 대한 네트워크의 효율적 미세조정이 가능했으며, 노이즈 및 모odal 변화에 대한 분포 이탈에 대한 강건성을 입증했다.
• 실험 결과는 확률적 언롤링과 스케칭의 조합이 정확도를 희생시키지 않으면서도 계산 효율성 측면에서 '무료의 이득'(free-lunch)을 제공함을 확인했다.