[논문 리뷰] Efficient Unrolled Networks for Large-Scale 3D Inverse Problems

Romain Vo, Julián Tachella|SPIRE - Sciences Po Institutional REpository|2026. 01. 05.

Sparse and Compressive Sensing Techniques인용 수 0

한 줄 요약

도메인 partitioning 및 normal-operator 근사 프레이워크를 제시하여 단일 GPU에서 대규모 3D 역문제에 대한 엔드-투-엔드 언롤드 네트워크의 학습 및 배치를 가능하게 하며, 3D CBCT 및 MC-MRI에서 최첨단 결과를 달성한다.

ABSTRACT

Deep learning-based methods have revolutionized the field of imaging inverse problems, yielding state-of-the-art performance across various imaging domains. The best performing networks incorporate the imaging operator within the network architecture, typically in the form of deep unrolling. However, in large-scale problems, such as 3D imaging, most existing methods fail to incorporate the operator in the architecture due to the prohibitive amount of memory required by global forward operators, which hinder typical patching strategies. In this work, we present a domain partitioning strategy and normal operator approximations that enable the training of end-to-end reconstruction models incorporating forward operators of arbitrarily large problems into their architecture. The proposed method achieves state-of-the-art performance on 3D X-ray cone-beam tomography and 3D multi-coil accelerated MRI, while requiring only a single GPU for both training and inference.

연구 동기 및 목표

• 대규모 3D 역문제에 대해 메모리 효율적인 엔드-투-엔드 언롤드 네트워크의 필요성을 제시한다.
• 추론 시 전체 볼륨에서 작동하는 동안 작은 패치에서 학습할 수 있도록 도메인 partitioning 전략을 도입한다.
• 빠른 데이터 일관성 업데이트를 가능케 하기 위해 대각 및 순환 인자로 구성된 normal-operator 근사를 개발한다.
• 메모리 및 계산 요구를 줄이면서 3D CBCT 및 MC-MRI에서 최첨단 성능을 입증한다.

제안 방법

• 신호 도메인을 두 개의 직교 부분공간으로 분할하고, 알려진 컨텍스트에 조건화하면서 더 작은 패치에서 작동한다.
• 패치를 집계할 때 전체 볼륨의 실제값과 일치하는 패치 기반 학습 손실을 형식화한다.
• A^T A 를 대각-순환 인자 H = diag(m) F^{-1} diag(lambda) F 로 근사하여 FFT 기반의 빠른 업데이트를 가능하게 한다.
• 그래디언트 내리기(경사 하강법)로 대각 및 순환 인자 (m, lambda)를 맞추어 임의의 x에 대해 E[||A^T A x - H x||^2]를 최소화하고, 문제에 독립적인 학습 데이터를 가능하게 한다.
• 패치에서 정확성을 보존하면서, FFT를 더 작은 크기 k = 2p로 제한하여 tilde{A}^T tilde{A} x_patch를 효율적으로 계산한다.
• 테스트 타임 재구성은 학습된 사전의 패치별 적용으로 진행되고, 이를 집계한 뒤 도메인 컨텍스트를 이용한 정교화 단계가 따른다.

실험 결과

연구 질문

• RQ1 도메인 partitioning이 임의로 큰 3D 역문제에 대해 작은 패치에서 학습된 엔드-투-엔드 언롤드 네트워크를 가능하게 할 수 있는가?
• RQ2 대각-순환 인자로 normal operator를 분해하는 것이 대규모 3D 문제에서 정확하고 계산적으로 효율적인 데이터-일관성 업데이트를 제공하는가?
• RQ3 제안된 프레임워크가 기존의 2D/3D 방법 및 패치 기반 접근법과 비교하여 대규모 3D CBCT 및 MC-MRI에서 어떠한 성능을 보이는가?
• RQ4 고해상도 3D 볼륨에 대해 단일 GPU에서 방법을 배포할 때의 메모리 및 학습 시간 이점은 무엇인가?

주요 결과

• 제안된 도메인 partitioning은 작은 패치에서 언롤드 네트워크를 학습하는 동시에 큰 3D 문제에서 전체 볼륨 추론을 가능하게 한다.
• 단일 인자 대각-순환 normal-operator 근사는 FFT를 통한 효율적인 데이터-일관성 업데이트를 제공하고 모달리티에 걸쳐 우수한 성능을 발휘한다.
• 본 방법은 단일 GPU에서 학습 및 추론을 가능하게 하면서 대규모 3D CBCT 및 MC-MRI에서 최첨단 성능을 달성한다.
• 실험은 메모리 및 속도 이점을 입증하며 CBCT의 경우 단일 GPU에서 최대 501^3 부피를 처리하고, MC-MRI에서는 메모리 감소로 유사한 성능을 보인다.
• 비전인 실험은 도메인 partitioning과 normal-operator 근사의 개별 기여를 확인한다.