[논문 리뷰] Regularizing linear inverse problems with convolutional neural networks

Reinhard Heckel|arXiv (Cornell University)|2019. 07. 06.

Sparse and Compressive Sensing Techniques참고 문헌 24인용 수 10

한 줄 요약

이 논문은 복소 센싱 및 MRI 재구성과 같은 선형 역문제를 정규화하기 위해 훈련되지 않은, 과소파rameter화된 컨볼루션 신경망을 이미지 사전으로 사용하는 것을 제안한다. 고정 또는 학습된 컨볼루션 필터를 활용함으로써 네트워크는 압축된 이미지 표현을 가능하게 하고, 적은 측정값으로도 고해상도 복원을 실현하며, 실제 MRI 데이터에서 기존의 $β_1$ 및 총 변동성 방법보다 우수한 성능을 보인다.

ABSTRACT

Deep convolutional neural networks trained on large datsets have emerged as an intriguing alternative for compressing images and solving inverse problems such as denoising and compressive sensing. However, it has only recently been realized that even without training, convolutional networks can function as concise image models, and thus regularize inverse problems. In this paper, we provide further evidence for this finding by studying variations of convolutional neural networks that map few weight parameters to an image. The networks we consider only consist of convolutional operations, with either fixed or parameterized filters followed by ReLU non-linearities. We demonstrate that with both fixed and parameterized convolutional filters those networks enable representing images with few coefficients. What is more, the underparameterization enables regularization of inverse problems, in particular recovering an image from few observations. We show that, similar to standard compressive sensing guarantees, on the order of the number of model parameters many measurements suffice for recovering an image from compressive measurements. Finally, we demonstrate that signal recovery with a un-trained convolutional network outperforms standard l1 and total variation minimization for magnetic resonance imaging (MRI).

연구 동기 및 목표

• 훈련되지 않은, 과소파rameter화된 컨볼루션 네트워크가 선형 역문제를 정규화하는 데 효과적인 이미지 사전로 기능할 수 있는지 조사하는 것.
• 이러한 네트워크가 적은 측정값으로부터 이미지를 복원할 수 있는 이론적 조건을 분석하는 것. 이는 압축 센싱 보장과 유사한 형태이다.
• 기존의 희소 복구 기법들과 비교하여 실세계 MRI 재구성 작업에서 이러한 네트워크의 성능을 평가하는 것.
• 생성기 아키텍처 내에서 고정 또는 파rameter화된 컨볼루션 필터가 압축된 이미지 표현과 강건한 복원을 가능하게 하는지 보여주는 것.

제안 방법

• 작은 잠재 코드에서 재구성된 이미지로 매핑하기 위해 전치 컨볼루션, ReLU 활성화 함수, 그리고 완전히 연결된 레이어 없이 구성된 컨볼루션 생성기 네트워크를 사용한다.
• 네트워크의 가중치에 대한 레이블 데이터나 가중치 업데이트 없이, 측정 일致성 손실에 대한 경사 하강법으로만 네트워크를 훈련시킨다.
• 생성기는 고정된 보간 커널(예: 이중선형) 또는 학습 가능한 필터로 초기화되며, 잠재 코드는 관측된 측정값과 일치하도록 최적화된다.
• 이론적 분석을 통해 조각별 선형 이미지는 s(선형 세그먼트의 수)에 대해 O(s)의 파라미터로 표현될 수 있음을 확인하였으며, 이는 압축 모델링을 가능하게 한다.
• 압축 센싱의 경우, 네트워크 파라미터 수 N에 대해 m ≈ N개의 측정값으로도 복원이 가능하다는 것을 입증하였다.
• MRI 재구성은 Fourier 도메인 측정 모델 A = M·F를 사용하여 데이터 일치 손실을 최소화함으로써 수행되며, 여기서 M은 k-space의 샘플링 마스크이다.

실험 결과

연구 질문

• RQ1 적은 파라미터를 가진 훈련되지 않은 컨볼루션 네트워크가 역문제에 효과적인 이미지 사전로 기능할 수 있는가?
• RQ2 네트워크 파라미터 수와 안정적인 이미지 복원을 위해 필요한 측정 수 사이의 이론적 관계는 무엇인가?
• RQ3 MRI 재구성에서 표준 희소성 기반 방법(예: $β_1$-최소화 및 총 변동성)과 비교해 훈련되지 않은 컨볼루션 네트워크의 성능은 어떠한가?
• RQ4 실제 MRI 복원 작업에서 고정 필터 또는 학습 가능한 필터를 가진 아키텍처 중 어느 것이 더 우수한 성능을 보이는가?

주요 결과

• 고정 필터를 가진 훈련되지 않은 컨볼루션 생성기(딥 디코더)가 MRI 재구성에서 $β_1$-최소화 및 총 변동성 정규화를 모두 능가하며, fastMRI 데이터셋에서 평균 34.74 dB의 성능을 기록하였다.
• 가장 우수한 성능은 k=256 채널에서 달성되었으며, 약간의 과소파라미터화가 과적합 없이 결과를 향상시켰다.
• 모델이 과소파라미터화되어도 성능이 양호하게 유지되며, 이는 모델 용량에 대해 강건함을 시사한다.
• 이론적 분석을 통해 조각별 선형 이미지는 O(s)의 파라미터로 표현될 수 있음을 확인하였으며, 이는 모델의 압축성의 근거를 제공한다.
• 파라미터 수 대비 측정 수가 증가할수록 재구성 품질이 향상되며, 이는 압축 센싱 이론과 일치한다.
• 최소 제곱법으로 전체 k-space 데이터로부터 재구성한 것보다 더 선명한 이미지를 생성함으로써, 더 우수한 정규화 효과를 보였다.