[논문 리뷰] MetaDIP: Accelerating Deep Image Prior with Meta Learning

Kevin Zhang, Mingyang Xie외 4명|arXiv (Cornell University)|2022. 09. 18.

Advanced X-ray Imaging Techniques인용 수 9

한 줄 요약

MetaDIP는 메타학습을 사용하여 딥 이미지 프라이어르(DIP)의 최적의 네트워크 가중치 초기화를 학습함으로써 영상 역문제의 속도를 가속화한다. 이로 인해 재구성 시간을 최대 10배 단축시키면서도 노이즈 제거, 압축 센싱, 압축 위상 복원 등 다양한 과제에서 경쟁력 있는 성능을 유지한다. 이 방법은 과제와 데이터 분포 간에 일반화 가능하며, 재학습 없이도 빠르고 정확한 재구성을 가능하게 한다.

ABSTRACT

Deep image prior (DIP) is a recently proposed technique for solving imaging inverse problems by fitting the reconstructed images to the output of an untrained convolutional neural network. Unlike pretrained feedforward neural networks, the same DIP can generalize to arbitrary inverse problems, from denoising to phase retrieval, while offering competitive performance at each task. The central disadvantage of DIP is that, while feedforward neural networks can reconstruct an image in a single pass, DIP must gradually update its weights over hundreds to thousands of iterations, at a significant computational cost. In this work we use meta-learning to massively accelerate DIP-based reconstructions. By learning a proper initialization for the DIP weights, we demonstrate a 10x improvement in runtimes across a range of inverse imaging tasks. Moreover, we demonstrate that a network trained to quickly reconstruct faces also generalizes to reconstructing natural image patches.

연구 동기 및 목표

• 딥 이미지 프라이어르(DIP)의 높은 계산 비용 문제를 해결하기 위해, 각 재구성에 수백에서 수천 번의 최적화 반복이 필요로 하는 점을 다루기 위함.
• 메타학습을 통해 과제에 종속되지 않고 클래스에 종속되지 않는 초기화를 학습함으로써 DIP 기반 영상 재구성을 가속화하기 위함.
• 노이즈 제거, 압축 센싱, 압축 위상 복원과 같은 다양한 역문제에서 신속하고 정확하며 일반화 가능한 재구성을 가능하게 하기 위함.
• 한 데이터 분포(예: 얼굴)에서 학습한 메타-초기화가 다른 분포(예: 자연 영상 패치)로도 효과적으로 일반화되는지 입증하기 위함.
• 상태기반 플러그 앤 플레이 방법과 경쟁 가능한 성능을 달성하면서도 훨씬 더 빠르고 조정이 쉬운 방법을 확보하기 위함.

제안 방법

• MetaDIP는 DIP 네트워크 가중치의 최적의 초기화를 학습하기 위해 모델에 종속되지 않은 메타학습(MAML)을 사용하여 새로운 역문제에서 빠른 수렴을 가능하게 한다.
• 메타학습은 CelebA 얼굴 데이터를 사용하여 노이즈 제거 과제의 분포에서 수행되며, 다양한 역문제에 일반화 가능한 메타-초기화를 학습한다.
• 메타학습된 초기화는 추가 미세조정 없이 DIP 네트워크에 적용되어 새로운 측정 데이터에서 경사하강법을 통해 빠른 최적화를 가능하게 한다.
• DIP 아키텍처는 랜덤 잠재 코드 입력을 가지는 완전 컨볼루션 신경망이며, 이미지 재구성은 관측된 측정값과 일치하도록 네트워크 가중치를 최적화하여 달성된다.
• 최적화 목표는 측정 데이터와 네트워크 출력 간의 L2 손실을 최소화하는 것으로, $ \theta^{*} = \min_{\theta} ||M(f_{\theta}(z)) - y||_2^2 $ 로 표현된다.
• 일반화 능력은 과제(노이즈 제거, 압축 센싱, 위상 복원)와 데이터(얼굴, 자연 영상 패치) 간에 평가되며, 메타-초기화의 이식 가능성(transferability)을 입증한다.

실험 결과

연구 질문

• RQ1 메타학습을 사용하여 추가 계산 비용을 최소화하면서도 여러 역문제에서 DIP 기반 영상 재구성을 가속화할 수 있는가?
• RQ2 얼굴 노이즈 제거에서 학습한 메타-초기화가 자연 영상 패치 재구성에 효과적으로 일반화되는가?
• RQ3 압축 센싱 및 위상 복원에서 기존의 최상위 플러그 앤 플레이 방법과 비교해 MetaDIP는 속도와 정확도 측면에서 어떻게 성능을 내는가?
• RQ4 단일 메타-초기화가 압축 위상 복원을 포함한 선형 및 비선형 역문제 모두에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 테스트 데이터 분포가 학습 데이터 분포와 다를 경우에도 메타-초기화가 강건하고 효과적인가?

주요 결과

• MetaDIP는 표준 DIP 대비 DIP 추론 시간을 최대 10배 단축시켜 128×128 패치 재구성에 2초 이내로 완료한다.
• m/n = 1/4 압축 센싱에서, MetaDIP는 얼굴 영상에 대해 29.0 dB PSNR를 기록했으며 자연 영상에선 28.3 dB를 기록하여 MetaSIREN을 능가하고, 표준 DIP와 유사한 성능를 보였지만 훨씬 더 빠른 속도를 확보했다.
• m/n = 1/4 압축 위상 복원에서, MetaDIP는 얼굴 영상에 대해 29.8 dB PSNR, 자연 영상에선 28.7 dB PSNR를 기록하여 MetaSIREN보다 각각 2.4 dB, 3.1 dB 높은 성능를 보였고, 표준 DIP보다 10배 빠른 속도를 확보했다.
• 얼굴에서 학습한 메타-초기화는 자연 영상 패치로도 효과적으로 일반화되며, 압축 센싱에서 자연 영상에 대해 28.3 dB PSNR, 위상 복원에선 28.7 dB PSNR를 기록했다.
• MetaDIP는 DRUNet(최상위 방법)을 사용한 PnP ADMM와 경쟁 가능한 성능를 달성했으며, 더 빠르고 조정이 더 쉬웠고, 위상 복원에서 PnP ADMM + DRUNet 대비 2배 빠른 실행 시간을 기록했다.
• MetaDIP는 강력한 일반화 능력을 보였으며, 노이즈 제거에서 학습한 단일 메타-초기화로 다양한 역문제와 데이터 분포에서 신속하고 정확한 재구성을 가능하게 했다.