[논문 리뷰] Learnable Descent Algorithm for Nonsmooth Nonconvex Image Reconstruction

Yunmei Chen, Hongcheng Liu외 2명|arXiv (Cornell University)|2020. 07. 22.

Sparse and Compressive Sensing Techniques참고 문헌 84인용 수 6

한 줄 요약

이 논문은 뉴럴 네트워크로 파arameter화된 비볼록 특징 맵과 조합된 $ l_{2,1} $-노름으로 정규화를 모델링하여 비연속적이고 비볼록적인 이미지 복원을 위한 학습 가능한 강하 알고리즘(LDA)을 제안한다. 네스테로프의 스무딩과 잔차 학습을 활용하여 LDA는 클라크 정적점으로 수렴함을 보장하며, 다양한 이미지 복원 작업에서 파rameter 효율성과 강건성을 확보한 상태최고 성능을 달성한다.

ABSTRACT

We propose a general learning based framework for solving nonsmooth and nonconvex image reconstruction problems. We model the regularization function as the composition of the $l_{2,1}$ norm and a smooth but nonconvex feature mapping parametrized as a deep convolutional neural network. We develop a provably convergent descent-type algorithm to solve the nonsmooth nonconvex minimization problem by leveraging the Nesterov's smoothing technique and the idea of residual learning, and learn the network parameters such that the outputs of the algorithm match the references in training data. Our method is versatile as one can employ various modern network structures into the regularization, and the resulting network inherits the guaranteed convergence of the algorithm. We also show that the proposed network is parameter-efficient and its performance compares favorably to the state-of-the-art methods in a variety of image reconstruction problems in practice.

연구 동기 및 목표

• 복잡한 이미지 구조를 포착하기에 너무 단순한 경향이 있는 변분 이미지 복원에서 수작업으로 설계된 정규화 항의 한계를 해결한다.
• 비연속적이고 비볼록 문제에 대한 전통적 최적화 방법에서의 느린 수렴과 파rameter 조정에 대한 민감성을 극복한다.
• 딥 러닝과 최적화 이론을 융합하여 이미지 복원을 위한 미분 가능하고 해석 가능하며 수렴 보장이 되는 프레임워크를 구축한다.
• 수렴 성질을 유지하면서도 데이터 기반 특징 표현에 적응하는 학습 가능한 최적화 알고리즘을 개발한다.
• 정규화 함수와 최적화 역학을 함께 학습시켜 파rameter 효율적이고 고성능의 이미지 복원을 가능하게 한다.

제안 방법

• 정규화 항을 $ r(\mathbf{x};\theta) = \| \mathbf{g}(\mathbf{x};\theta) \|_{2,1} $로 모델링하며, 여기서 $ \mathbf{g} $는 학습 가능한 파rameter $ \theta $를 가진 딥 컨volution 뉴럴 네트워크이다.
• l_{2,1}-노름의 비연속성 문제를 다루기 위해 네스테로프의 스무딩 기법을 적용하여 기울기 기반 최적화를 가능하게 한다.
• 잔차 학습을 활용한 강하 유형 알고리즘을 설계하여 반복적으로 해를 갱신하며, 적응형 스텝 사이즈와 스무딩 파ram터 $ \varepsilon_k $를 사용한다.
• 스무딩된 목적 함수 $ \phi_{\varepsilon_k} $의 충분한 감소를 보장하기 위해 감소율 0.5를 갖는 백트래킹 선 탐색을 사용한다.
• 훈련 데이터에서 평균 손실 $ \frac{1}{N} \sum_{s=1}^N \| \mathbf{x}_\theta^{(s)} - \hat{\mathbf{x}}^{(s)} \|_2^2 $ 를 최소화함으로써 네트워크 파ram터 $ \theta $를 지도 학습 방식으로 학습시킨다.
• 미묘한 조건 하에 LDA 반복이 클라크 정적점으로 수렴함을 증명함으로써 이론적 수렴 보장을 확보한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크 정규화 최적화 프레임워크는 이론적 수렴 보장을 유지하면서도 우수한 이미지 복원 성능을 달성할 수 있는가?
• RQ2 적응형 스무딩과 선 탐색을 갖춘 학습 가능한 강하 알고리즘을 통해 비연속적이고 비볼록 정규화를 효과적으로 최적화할 수 있는가?
• RQ3 학습된 특징 맵 $ \mathbf{g} $ 가 전통적인 수작업 정규화 항(예: 총 변동성)에 비해 복잡한 구조적 세부 정보(예: 가장자리, 무늬)를 얼마나 잘 포착하는가?
• RQ4 15단계 훈련 제도를 초과해도 LDA 프레임워크는 안정적이고 효과적인가?
• RQ5 제안된 방법은 압축 감지, 노이즈 제거 등 다양한 이미지 복원 작업에 파rameter 효율성과 강건성을 갖추고 일반화 가능한가?

주요 결과

• LDA 알고리즘은 클라크 정적점으로 수렴함을 보여 이론적 안정성과 수렴 보장을 제공하나, 비볼록성과 비연속성에도 불구하고 성립한다.
• LDA는 압축 감지와 노이즈 제거를 포함한 다양한 이미지 복원 작업에서 최고 수준의 성능을 달성하며, 전통적인 TV 및 학습된 사전 방법에 비해 PSNR 향상을 보였다.
• 학습된 특징 맵 $ \mathbf{g} $ 는 전통적인 총 변동성 정규화에서 흐릿해지거나 손실되는 세부 정보—예를 들어 나비의 촉수, 건물 윤곽선, 까치의 부리 등—을 잘 포착한다.
• 15개의 훈련 반복 이후에도 LDA는 목적 함수를 계속 개선하며 12,000회 이상의 반복 동안 안정적인 PSNR를 유지함으로써 훈련 이후에도 지속적인 최적화와 강건성을 보여준다.
• 12,832회의 반복 동안 스무딩 파aram터 $ \varepsilon_k $ 를 총 109번 감소시켜 효과적인 적응과 수렴을 보였으며, 발산 없이 안정적으로 수렴함을 입증했다.
• 이 방법은 파arameter 효율적이다: 네트워크 아키텍처는 알고리즘의 수렴 보장을 그대로 이어받으며, 훈련 과정은 다양한 이미지 복원 문제에 대해 안정적이고 일반화 가능하다.