[논문 리뷰] Momentum-Net: Fast and convergent iterative neural network for inverse problems

Il Yong Chun, Zhengyu Huang외 2명|arXiv (Cornell University)|2019. 07. 26.

Sparse and Compressive Sensing Techniques참고 문헌 83인용 수 97

한 줄 요약

이 논문은 일반적인 미분 가능(비)볼록 데이터 피팅 항과 볼록 탐색 가능 집합에 대해 고정점으로 수렴함을 보장하는 최초의 반복 신경망(INN) 아키텍처인 Momentum-Net을 제안한다. 블록 단위 모델 기반 영상 복원(MBIR) 프레임워크에 동량과 주요화를 통합하고 학습 가능한 리파인어를 적용함으로써, Momentum-Net은 희박한 시야의 CT 및 라이트필드 사진 촬영 응용 분야에서 기존 INN 및 최첨단 MBIR 방법보다 더 빠른 수렴 속도와 뛰어난 복원 정확도를 달성한다.

ABSTRACT

Iterative neural networks (INN) are rapidly gaining attention for solving inverse problems in imaging, image processing, and computer vision. INNs combine regression NNs and an iterative model-based image reconstruction (MBIR) algorithm, often leading to both good generalization capability and outperforming reconstruction quality over existing MBIR optimization models. This paper proposes the first fast and convergent INN architecture, Momentum-Net, by generalizing a block-wise MBIR algorithm that uses momentum and majorizers with regression NNs. For fast MBIR, Momentum-Net uses momentum terms in extrapolation modules, and noniterative MBIR modules at each iteration by using majorizers, where each iteration of Momentum-Net consists of three core modules: image refining, extrapolation, and MBIR. Momentum-Net guarantees convergence to a fixed-point for general differentiable (non)convex MBIR functions (or data-fit terms) and convex feasible sets, under two asymptomatic conditions. To consider data-fit variations across training and testing samples, we also propose a regularization parameter selection scheme based on the "spectral spread" of majorization matrices. Numerical experiments for light-field photography using a focal stack and sparse-view computational tomography demonstrate that, given identical regression NN architectures, Momentum-Net significantly improves MBIR speed and accuracy over several existing INNs; it significantly improves reconstruction quality compared to a state-of-the-art MBIR method in each application.

연구 동기 및 목표

• 기존 반복 신경망(INN)이 역문제에 대해 수렴 보장을 하지 못하는 문제를 해결하기 위해.
• 높은 복원 정확도를 유지하면서 모델 기반 영상 복원(MBIR)을 가속화하기 위해.
• 딥 러닝 리파인어의 장점과 증명 가능하게 수렴하는 최적화 기법을 융합한 통합 프레임워크를 개발하기 위해.
• 학습 및 테스트 데이터 간의 데이터 피팅 변동성을 다루기 위해 주요화 행렬의 스펙트럼 산란 기반 정규화 파rameter 선택 기법을 제공하기 위해.
• 희박한 시야의 계산 영상 단층 촬영 및 라이트필드 사진 촬영에서 최첨단 성능을 입증하기 위해.

제안 방법

• 모멘텀 외삽, 주요화를 통한 비반복 MBIR, 학습 가능한 영상 리파인어를 통합한 INN 아키텍처인 Momentum-Net을 제안한다.
• 수렴 속도를 가속화하기 위해 외삽 모듈에 블록 단위 MBIR와 동량 항을 통합한다.
• 각 반복 단계에서 MBIR 하위 문제를 비반복적으로 해결할 수 있도록 주요화 행렬을 활용하여 계산 비용을 감소시킨다.
• 일반적인 미분 가능(비)볼록 데이터 피팅 함수와 볼록 탐색 가능 집합에 대해 두 개의 점근적 조건 하에서 수렴 증명을 제시한다.
• 학습 및 테스트 데이터 간의 데이터 피팅 변동성을 다루기 위해 주요화 행렬의 스펙트럼 산란 기반 정규화 파rameter 선택 기법을 개발한다.
• 입력과 리파인어 출력을 균형 잡기 위해 이완 파rameter ρ ∈ (0,1)을 사용하며, 정규화 강도에 기반한 최적 선택 가이드라인을 제시한다.

실험 결과

연구 질문

• RQ1 일반적인 (비)볼록 데이터 피팅 항과 볼록 탐색 가능 집합에 대해 수렴 보장을 보장하는 반복 신경망 아키텍처를 설계할 수 있는가?
• RQ2 모멘텀과 주요화를 학습 가능한 리파인어와 효과적으로 융합하여 수렴 속도를 가속화하면서도 복원 정확도를 손상시키지 않을 수 있는가?
• RQ3 학습 및 테스트 샘플 간의 데이터 피팅 변동성이 존재할 경우, 정규화 파arameter γ의 효과적인 선택 전략은 무엇인가?
• RQ4 리파인어 아키텍처(예: sCNN 대 dCNN)와 이완 파arameter ρ의 선택이 성능 및 수렴에 미치는 영향은 어떠한가?
• RQ5 제안된 방법은 실제 역문제에서 기존 INN 및 최첨단 MBIR 방법을 모두 능가할 수 있는가?

주요 결과

• 희박한 시야의 CT 및 라이트필드 사진 촬영에서, 동일한 리파인어 아키텍처를 사용함에도 불구하고 Momentum-Net은 기존 INN보다 더 빠른 수렴 속도와 높은 복원 정확도를 달성한다.
• 희박한 시야의 CT에서 Momentum-Net은 RMSE를 2.4 HU로 줄였으며(다음으로 좋은 방법 대비 7.1 HU), 66% 향상된 성능을 보였다.
• 라이트필드 사진 촬영에서는 PSNR 32.4 dB(다음으로 좋은 방법 대비 28.1 dB)와 RMSE 5.7×10−2 m(다음으로 좋은 방법 대비 13.8×10−2 m)을 달성했다.
• 확장형 리파인어를 사용하더라도 온건한 조건 하에서 증명 가능하게 수렴함을 보였으며, 이는 이전 INN이 제한적인 비확장성 가정에 의존하는 것과 대비된다.
• 스펙트럼 산란 기반 정규화 파arameter 선택 기법이 다양한 데이터 피팅 조건에서의 일반화 능력을 향상시켰다.
• 고정규화 설정(예: 라이트필드)에서는 ρ = 1−ε가 ρ = 0.5보다 우수했으며, 중간 정규화 설정(예: CT)에서는 ρ = 0.5가 최적의 성능을 보였다. 이는 제안된 선택 가이드라인의 타당성을 입증한다.