[논문 리뷰] Neumann Networks for Inverse Problems in Imaging

Davis Gilton, Greg Ongie외 1명|arXiv (Cornell University)|2019. 01. 13.

Sparse and Compressive Sensing Techniques참고 문헌 75인용 수 19

한 줄 요약

이 논문은 선형 역문제를 해결하기 위한 데이터 기반 딥러닝 아키텍처인 노이만 네트워크를 소개한다. 이는 전방 연산자 X를 포함하는 노이만 급수 전개를 잘라내어 구현된다. 이 방법은 기존의 정규화 기반 솔버, 모델 무관 네트워크, 그리고 언롤드 반복적 방법보다 뛰어난 성능을 보이며, 이론적으로는 이미지가 부분공간의 합집합에 속할 경우 최적의 오라클 추정기와의 근사가 가능하다는 보장을 제공한다.

ABSTRACT

Many challenging image processing tasks can be described by an ill-posed linear inverse problem: deblurring, deconvolution, inpainting, compressed sensing, and superresolution all lie in this framework. Traditional inverse problem solvers minimize a cost function consisting of a data-fit term, which measures how well an image matches the observations, and a regularizer, which reflects prior knowledge and promotes images with desirable properties like smoothness. Recent advances in machine learning and image processing have illustrated that it is often possible to learn a regularizer from training data that can outperform more traditional regularizers. We present an end-to-end, data-driven method of solving inverse problems inspired by the Neumann series, which we call a Neumann network. Rather than unroll an iterative optimization algorithm, we truncate a Neumann series which directly solves the linear inverse problem with a data-driven nonlinear regularizer. The Neumann network architecture outperforms traditional inverse problem solution methods, model-free deep learning approaches, and state-of-the-art unrolled iterative methods on standard datasets. Finally, when the images belong to a union of subspaces and under appropriate assumptions on the forward model, we prove there exists a Neumann network configuration that well-approximates the optimal oracle estimator for the inverse problem and demonstrate empirically that the trained Neumann network has the form predicted by theory.

연구 동기 및 목표

• 이미지 복원, 초해상도, 압축 감지 등에서 기존 정규화 기반 방법이 최적일 수 없는 악조건의 선형 역문제를 해결하는 데 도전한다.
• 대규모 훈련 데이터가 필요하고 구조적 인덕티브 바이어스가 부족한 모델 무관 딥러닝 접근법의 한계를 극복하기 위해 전방 연산자 X를 네트워크 아키텍처에 통합한다.
• 노이만 급수 전개에서 영감을 얻은 학습 가능한 종단 간 신경망 아키텍처를 개발하여 직접 역문제를 해결하고 데이터 기반 비선형 정규화를 제공한다.
• 이미지가 부분공간의 합집합에 속할 경우 노이만 네트워크가 최적의 오라클 추정기와의 근사를 가능하게 하는 이론적 조건을 설정한다.
• 학습된 네트워크에서 학습된 비선형 성분이 부분공간 구조에서 유도된 이론적 예측과 일치함을 경험적으로 입증한다.

제안 방법

• 데이터 적합성 항과 정규화 항을 포함한 비용 함수 최소화 문제로 역문제를 공식화하며, 정규화 항은 훈련 데이터를 통해 노이만 급수 전개를 통해 학습한다.
• 선형 역문제의 해를 표현하는 무한 급수인 노이만 급수를 잘라내어 노이만 네트워크를 구성하며, 이 급수는 전방 연산자 X와 학습 가능한 비선형 연산자 R*를 포함한다.
• 각 레이어가 X^T를 포함하는 선형 변환과 학습 가능한 함수 R*를 통한 비선형 잔차 갱신을 수행하는 블록 구조로 네트워크를 설계한다.
• 블록 간에 스킵 연결을 통합하여 학습 안정성과 최적화 경로의 부드러움을 향상시킨다.
• 네트워크 이전에 프리컨dition링 단계를 도입하여 재구성 작업에서의 경험적 성능을 추가로 향상시킨다.
• 쌍체 훈련 데이터 (β*, y)를 사용하여 종단 간으로 네트워크를 훈련함으로써 비선형 연산자 R*를 학습하면서 X로부터 유도된 구조적 인덕티브 바이어스를 유지한다.

실험 결과

연구 질문

• RQ1 노이만 급수 전개를 활용하여 영상 분야의 선형 역문제를 직접 해결할 수 있는 딥 뉴럴 네트워크 아키텍처를 설계할 수 있는가?
• RQ2 네트워크 아키텍처에 전방 연산자 X를 통합함으로써 모델 무관 학습 접근법 대비 샘플 복잡도를 감소시킬 수 있는가?
• RQ3 이미지가 부분공간의 합집합에 속할 경우, 노이만 네트워크가 최적의 오라클 추정기와의 근사를 어떤 조건에서 달성할 수 있는가?
• RQ4 학습된 노이만 네트워크에서 학습된 비선형 성분이 부분공간 모델에서 유도된 이론적 구조를 반영하는가?
• RQ5 기존 솔버, 모델 없는 딥러닝, 언롤드 반복 방법과 비교하여 노이만 네트워크가 표준 영상 작업에서 경험적으로 어떻게 성능을 내는가?

주요 결과

• 노이만 네트워크는 초해상도, 왜곡 복원, 압축 감지, 인painting 작업에서 최신 기술을 초월하는 성능을 달성하며, 기존 정규화 기반 솔버와 모델 없는 딥러닝 방법보다 뛰어나다.
• 이 아키텍처는 모델 무관 네트워크보다 훨씬 낮은 샘플 복잡도를 보이며, 이는 전방 연산자 X를 명시적으로 통합하기 때문이다. 따라서 의료 영상과 같은 데이터가 부족한 분야에 적합하다.
• 이론적 분석을 통해 이미지가 부분공간의 합집합에 속하고 비선형 성분이 충분한 표현 능력을 지닐 경우, 노이만 네트워크가 최적의 오라클 추정기와 임의로 잘 근사할 수 있음을 증명하였다.
• 경험적으로, 학습된 노이만 네트워크의 비선형 성분이 이론적으로 예측된 형태와 일치함을 확인하여 이론적 프레임워크의 타당성을 검증하였다.
• 블록 구조에서의 스킵 연결 사용은 더 부드러운 최적화 경로를 만들어 학습 안정성과 수렴 성능을 향상시켰다.
• 간단한 프리컨디셔닝 단계와 함께 노이만 네트워크를 사용하면 모든 테스트 작업에서 재구성 정확도가 추가로 향상되었다.