[논문 리뷰] Accelerated PDE's for efficient solution of regularized inversion problems

Minas Benyamin, Jeff Calder외 2명|arXiv (Cornell University)|2018. 09. 30.

Sparse and Compressive Sensing Techniques참고 문헌 22인용 수 4

한 줄 요약

이 논문은 편미분방정식(PDE)로 일반화된 모멘타ム 기반 최적화를 제안하는 PDE 가속화라는 새로운 프레임워크를 소개한다. 기존의 확산 기반 경사하강법을 비선형 감쇠 파동 방정식으로 대체함으로써, 기존의 제한적인 Δt ∼ Δx² 조건 대비 더 유리한 CFL 조건 Δt ∼ Δx 를 확보함으로써, 존재하는 PDE 코드에 최소한의 알고리즘적 수정만으로도 더 빠르고 안정적인 이미지 복원(노이즈 제거, 블러 제거, 구멍 메우기 등)을 가능하게 한다.

ABSTRACT

We further develop a new framework, called PDE Acceleration, by applying it to calculus of variations problems defined for general functions on $\mathbb{R}^n$, obtaining efficient numerical algorithms to solve the resulting class of optimization problems based on simple discretizations of their corresponding accelerated PDE's. While the resulting family of PDE's and numerical schemes are quite general, we give special attention to their application for regularized inversion problems, with particular illustrative examples on some popular image processing applications. The method is a generalization of momentum, or accelerated, gradient descent to the PDE setting. For elliptic problems, the descent equations are a nonlinear damped wave equation, instead of a diffusion equation, and the acceleration is realized as an improvement in the CFL condition from $Δt\sim Δx^{2}$ (for diffusion) to $Δt\sim Δx$ (for wave equations). We work out several explicit as well as a semi-implicit numerical schemes, together with their necessary stability constraints, and include recursive update formulations which allow minimal-effort adaptation of existing gradient descent PDE codes into the accelerated PDE framework. We explore these schemes more carefully for a broad class of regularized inversion applications, with special attention to quadratic, Beltrami, and Total Variation regularization, where the accelerated PDE takes the form of a nonlinear wave equation. Experimental examples demonstrate the application of these schemes for image denoising, deblurring, and inpainting, including comparisons against Primal Dual, Split Bregman, and ADMM algorithms.

연구 동기 및 목표

• 기존의 강성 안정성 제약(Δt ∼ Δx²)으로 인해 느린 수렴을 보이는 변분 이미지 처리에서의 전통적 경사하강법의 문제를 해결하기 위해.
• Nesterov, Polyak 등의 모멘타ム 기반 최적화 방법을 변분 문제의 PDE 설정으로 일반화하기 위해.
• 기존의 Primal Dual 및 Split Bregman 방법보다 빠르고 가장자리 보존 성능이 뛰어난 효율적이고 안정적인 수치적 스킴을 개발하기 위해.
• 기존의 경사하강법 기반 PDE 코드를 최소한의 노력으로 가속화된 프레임워크로 이식할 수 있도록, 재귀적 업데이트 형식을 통해 가능하게 하기 위해.
• 비선형 파동 방정식에 기반한 간단한 명시적 스킴을 사용하여, 노이즈 제거, 블러 제거, 구멍 메우기 작업에서 최신 기술 수준의 성능을 입증하기 위해.

제안 방법

• 최적화 흐름을 2차 비선형 감쇠 파동 방정식으로 모델링함으로써, 기존의 확산 방정식 대신 기존의 경사하강법을 PDE로 일반화함.
• 라그랑지안 역학 기반 변분 프레임워크를 사용하여, Nesterov 및 Polyak의 무거운 공 방법과 같은 모멘타움 방법의 연속 극한으로서 가속된 PDE를 유도함.
• 가속된 PDE를 이산화하기 위해 명시적 및 반명시적 유한차분 스킴을 적용하며, 에너지 감쇠 및 비선형 감쇠 효과로부터 안정성 제약을 유도함.
• 기하학적 이중성 보장을 위해 기울기에는 전진 차분, 발산에는 후진 차분을 사용함으로써 이산 이중성 일致성을 확보함. 이는 수치적 안정성에 매우 중요함.
• 기존의 경사하강법 기반 PDE 코드를 최소한의 코드 수정으로 가속된 PDE 솔버로 변환할 수 있도록 재귀적 업데이트 형식을 구현함.
• 동차 노이만 경계 조건을 사용하고, 기울기의 특이점(예: |∇u| = 0)은 0으로 대체하여 수치적 문제를 방지함.

실험 결과

연구 질문

• RQ1 이산 최적화에서의 모멘타움 기반 가속화는 R^n 상의 변분 문제에 대해 연속적인 PDE 기반 최적화 프레임워크로 일반화될 수 있는가?
• RQ2 가속된 PDE의 안정성 및 수렴 성능은 이미지 처리 응용 분야에서 기존의 확산 기반 PDE와 비교해 어떻게 되는가?
• RQ3 확산 방정식을 비선형 파동 방정식으로 대체함으로써 CFL 조건과 수치적 효율성에 어떤 영향을 미치는가?
• RQ4 가속된 PDE에 기반한 간단한 명시적 스킴은 Primal Dual 및 Split Bregman 등의 고급 알고리즘과 비교해 이미지 복원 작업에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 특히 Δt ∼ Δx 조건에서, 시간 단계(Δt)의 선택이 가속된 PDE 스킴의 안정성과 수렴에 어떤 영향을 미치는가?

주요 결과

• PDE 가속화는 표준 확산 기반 PDE에서의 Δt ∼ Δx² 제약 대비 크게 향상된 Δt ∼ Δx 조건을 확보함으로써 더 큰 시간 단계를 허용하고 수렴 속도를 높임.
• TV 노이즈 제거에서 PDE 가속화는 0.85초 만에 고품질 해를 달성하였고, Primal Dual는 1.12초, Split Bregman는 10.4초가 소요됨. 가장자리 보존 성능도 뛰어남.
• 큰 시간 단계(Δt ≤ Δx)에서도 L^∞ 안정성을 유지하며, 발산 대신 안정적인 진동형 정적 상태로 수렴함.
• 노이즈 제거 및 블러 제거 작업에서, 동일한 에너지 수준에서 PDE 가속화는 Primal Dual보다 더 높은 품질의 이미지를 생성하며, 특히 날카운 가장자리 보존 성능이 뛰어남.
• 재귀적 업데이트 형식 덕분에 기존의 경사하강법 기반 PDE 코드를 최소한의 수정으로 가속된 PDE 솔버로 변환할 수 있어 빠른 구현이 가능함.
• 실험 결과, PDE 가속화는 TV 기반 복원 작업에서 Split Bregman 및 Primal Dual보다 빠르고 이미지 품질 면에서 뛰어나며, 에너지 감쇠 곡선을 통해 더 빠른 수렴을 보임.