[논문 리뷰] One Network to Solve Them All --- Solving Linear Inverse Problems using Deep Projection Models

Je-Yuan Chang, Chunliang Li외 3명|arXiv (Cornell University)|2017. 03. 29.

Sparse and Compressive Sensing Techniques인용 수 64

한 줄 요약

이 논문은 학습된 근접 연산자를 ADMM에 포함시켜 이미지의 다양한 선형 역문제를 해결하기 위해 단일 깊은 투사 모델을 학습하는 일반 프레임워크를 제시하여 재학습 없이도 작업 간 재구성을 가능하게 한다.

ABSTRACT

While deep learning methods have achieved state-of-the-art performance in many challenging inverse problems like image inpainting and super-resolution, they invariably involve problem-specific training of the networks. Under this approach, different problems require different networks. In scenarios where we need to solve a wide variety of problems, e.g., on a mobile camera, it is inefficient and costly to use these specially-trained networks. On the other hand, traditional methods using signal priors can be used in all linear inverse problems but often have worse performance on challenging tasks. In this work, we provide a middle ground between the two kinds of methods --- we propose a general framework to train a single deep neural network that solves arbitrary linear inverse problems. The proposed network acts as a proximal operator for an optimization algorithm and projects non-image signals onto the set of natural images defined by the decision boundary of a classifier. In our experiments, the proposed framework demonstrates superior performance over traditional methods using a wavelet sparsity prior and achieves comparable performance of specially-trained networks on tasks including compressive sensing and pixel-wise inpainting.

연구 동기 및 목표

• 손으로 설계된 사전 정보와 엔드-투-엔드 매핑 사이의 중간-ground를 선형 역문제에 대해 모티브로 삼는다.
• 큰 이미지 데이터세트에서 학습된 프로젝션 연산자를 학습해 어떤 선형 역문제도 해결하는 프레임워크를 제안한다.
• 학습된 프로젝션이 ADMM에 통합될 수 있고 A와 노이즈 변화에 강인하도록 보장한다.
• 학습된 프로젝션 네트워크를 가진 비볼록 ADMM에 대한 수렴 가이드를 제공한다.

제안 방법

• min_x 0.5||y−Ax||^2 + λφ(x) 로 선형 역문제를 형식화하고 변수 분할(x,z)로 ADMM을 적용한다.
• φ의 proximal 연산자를 학습된 투사 연산자 P로 교체하고, 이 P는 분류기 D와 적대적 학습 투사기로 자연 이미지 집합으로 매핑하도록 훈련한다.
• D와 P를 함께 학습시켜 P(z−u)가 D의 경계로 정의된 자연 이미지 매니폴드 안에 머물도록 하고 수렴을 위한 Lipschitz 그래디언트 가정을 만족시킨다.
• x업데이트가 x^{k+1} = P(z^{(k)} − u^{(k)})가 됨을 보인다.
• 수렴 정리(Theorem 1): P가 proximal 연산자를 해결하고 ∇φ가 Lipschitz 하고 충분한 ρ를 가지면 ADMM은 정지점으로 수렴한다.
• 네트워크 아키텍처(D는 잔차 네트워크, P는 컨볼루션 자동인코더), Lipschitz 그래디언트 고려사항, P를 학습하기 위한 데이터 섭동 전략 등 구현 세부사항을 논의한다.

실험 결과

연구 질문

• RQ1 Can a single learned proximal operator generalize across diverse linear inverse problems (e.g., inpainting, super-resolution, compressive sensing)?
• RQ2 Does integrating a learned projection into ADMM offer robust performance to variation in A and measurement noise across tasks?
• RQ3 What convergence guarantees hold when replacing a proximal operator with a nonconvex learned projection in ADMM?
• RQ4 How does the proposed method compare to traditional wavelet-prior methods and specially trained networks across multiple tasks?
• RQ5 What training strategies (adversarial, perturbations) help stabilize the projection operator for ADMM iterations?

주요 결과

• The proposed framework achieves superior performance over traditional wavelet-sparsity priors and comparable performance to specially trained networks on several tasks.
• Demonstrates 10× compression in compressive sensing and 80% pixel drops in inpainting tasks with competitive results across datasets.
• The same network, without retraining, solves compressive sensing, pixelwise and scattered inpainting, and 2× super-resolution.
• ADMM with the learned projection converges to a stationary point under Lipschitz and sufficient ρ conditions despite nonconvexity.
• The learned proximal operator is robust to changes in the linear operator A and measurement noise relative to specialized networks.