[논문 리뷰] Invert to Learn to Invert

Patrick Putzky, Max Welling|arXiv (Cornell University)|2019. 11. 25.

Generative Adversarial Networks and Image Synthesis인용 수 38

한 줄 요약

이 논문은 기억 효율적이고 완전히 가역적인 반복적 역 모델(i-RIM)을 가역 신경망으로 구축하여 매우 깊은 3D MRI 재구성이 가능하고, 일정 메모리로 학습하면서 최첨단 결과를 달성합니다.

ABSTRACT

Iterative learning to infer approaches have become popular solvers for inverse problems. However, their memory requirements during training grow linearly with model depth, limiting in practice model expressiveness. In this work, we propose an iterative inverse model with constant memory that relies on invertible networks to avoid storing intermediate activations. As a result, the proposed approach allows us to train models with 400 layers on 3D volumes in an MRI image reconstruction task. In experiments on a public data set, we demonstrate that these deeper, and thus more expressive, networks perform state-of-the-art image reconstruction.

연구 동기 및 목표

• 역 around 메모리 병목 현상을 invertible 네트워크를 사용하여 해결한다.
• 활성화 값을 저장하지 않고 역 문제를 위한 매우 깊은 아키텍처(최대 400 레이어) 학습 가능하게 한다.
• MRI의 대규모 3D 관찰에 반복 재구성 방법을 확장한다.
• 깊은 i-RIM를 지원하고 학습 안정성을 향상시키기 위해 안정적인 invertible layer를 제안한다.

제안 방법

• 반복적 역 모델과 invertible 학습을 결합하여 학습 중 메모리를 상수로 유지한다.
• 업데이트 방정식을 역가능하도록 재구성하여 invertible Recurrent Inference Machines (i-RIM)을 개발한다.
• 안정한 역 inversion과 간편한 역산을 보장하기 위해 직교 1x1 컨볼루션을 갖춘 invertible layer를 도입한다.
• 가변 공간 축소와 Gated Linear Units를 활용한 잔여 블록으로 invertible 프레임워크 내에서 안정적으로 학습한다.
• fastMRI 챌린지의 가속화 MRI 데이터에 대해 U-Net 및 RIM 기초선과 비교하여 학습하고 평가한다.

실험 결과

연구 질문

• RQ1 invertible 신경망을 사용하여 반복적 역 모델을 일정 메모리로 학습할 수 있는가?
• RQ2 RIM을 완전히 가역적이고 깊은 3D 모델에 대해 안정적으로 만들기 위해 어떤 아키텍처 조정이 필요한가?
• RQ3 i-RIM이 4x 및 8x 가속 설정에서 MRI 재구성의 최첨단 성능을 달성하는가?
• RQ4 i-RIM의 메모리 효율성이 대형 3D 부피를 위한 더 깊은 네트워크 학습을 어떻게 가능하게 하는가?

주요 결과

• 제안된 i-RIM은 학습 중 메모리 복잡도 O(1)을 달성하여 매우 깊은 모델(최대 400층) 학습이 가능하다.
• fastMRI 데이터에 대한 MRI 재구성에서 i-RIM은 4x 및 8x 가속 설정 모두에서 U-Net 기초선과 표준 RIM을 NMSE, PSNR, SSIM 지표로 우수하게 능가한다(검증 및 테스트).
• 3D i-RIM은 2D i-RIM의 성능에 근접하여 체적 데이터에 대한 강한 확장성을 보인다.
• 표 1은 비가역적 학습으로는 불가능했을 3D 모델의 메모리 절감을 보여준다.
• 이 접근법은 발표 시점에 단일 코일 fastMRI 리더보드에서 i-RIM를 최상위에 놓는다.