[논문 리뷰] An Optimal Control Approach to Early Stopping Variational Methods for Image Restoration

Alexander Effland, Erich Kobler외 2명|arXiv (Cornell University)|2019. 07. 19.

Sparse and Compressive Sensing Techniques참고 문헌 36인용 수 4

한 줄 요약

이 논문은 변분 이미지 복원에서 경량 흐름의 정지 시점을 최적 제어 프레임워크를 통해 학습하는 방법을 제안하며, 이를 통해 이미지 품질을 향상시킨다. 데이터 기반 비용 기능을 갖춘 최적 제어 문제로 문제를 재정의함으로써, 표준 변분 방법보다 뛰어난 노이즈 제거 및 블러 제거 성능을 달성하며, 비선형 스펙트럼 분석을 통해 해석 가능한 정규화 성질을 드러낸다.

ABSTRACT

We investigate a well-known phenomenon of variational approaches in image processing, where typically the best image quality is achieved when the gradient flow process is stopped before converging to a stationary point. This paradox originates from a tradeoff between optimization and modelling errors of the underlying variational model and holds true even if deep learning methods are used to learn highly expressive regularizers from data. In this paper, we take advantage of this paradox and introduce an optimal stopping time into the gradient flow process, which in turn is learned from data by means of an optimal control approach. As a result, we obtain highly efficient numerical schemes that achieve competitive results for image denoising and image deblurring. A nonlinear spectral analysis of the gradient of the learned regularizer gives enlightening insights about the different regularization properties.

연구 동기 및 목표

• 변분 방법에서 수렴 이전에 가장 높은 이미지 복원 품질을 달성하는 모순을 해결하기 위해, 더 긴 반복 횟수일수록 결과가 향상된다는 기대와는 반대로, 정지 시점을 조정하는 것이 중요하다는 점을 다루는 것.
• 수렴 이르기 전의 정지 시점을 히وري스틱 선택이 아닌, 경량 흐름 프레임워크 내에서 학습된 제어 변수로 공식화하는 것.
• 정지 시점 T를 데이터 기반 최적 제어 문제에서 정규화자 파rameter들과 함께 최적화하여 복원 오차를 최소화하는 방법을 개발하는 것.
• 경량 정규화자의 해석 가능성을 비선형 스펙트럼 분석을 통해 드러내기 위해, Field of Experts 유형 정규화자의 기울기의 비선형 스펙트럼 분석을 수행하는 것.
• 고전적 변분 원칙이 더 긴 반복 횟수에서 더 나은 해를 도출한다고 기대하는 데 반해, 최적 정지 시점이 항상 유한함을 보여주는 것.

제안 방법

• 에너지 기능이 데이터 적합성 항과 학습 가능한 커널 및 활성화 함수를 갖는 Field of Experts 유형 정규화자로 구성된 상태 방정식에 의해 지배되는 경량 흐름으로서 이미지 복원 문제를 공식화한다.
• 정지 시점 T를 최적 제어 문제의 제어 변수로 도입하며, 이때 비용 기능은 시간 T에서의 흐름 궤적과 진짜 이미지 사이의 거리를 측정한다.
• 명시적 오일러 및 헤운 스킴을 사용해 경량 흐름을 이산화함으로써, 시간에 따라 정규화자가 고정된 깊이 학습 모델의 하위 집합인 정적 변분 네트워크 아키텍처를 도출한다.
• 라그랑지안 접근법을 통해 일阶 최적성 조건을 유도하여 최적 정지 시점 T의 자동 계산을 가능하게 한다.
• 학습된 정규화자의 기울기에 대해 비선형 스펙트럼 분석을 수행하기 위해 일반화된 고유쌍을 계산하여 국소 정규화 행동을 연구한다.
• 단계 크기 조절이 가능한 가속화된 경량 하강법을 사용하여 127×127 크기의 일반화된 고유쌍 Nv = 64개를 계산하며, 평균 제거된 이미지 패치를 초기값으로 사용하고 경계에서 스무딩을 적용한다.

실험 결과

연구 질문

• RQ1 최적 제어를 통해 데이터 기반으로 경량 흐름의 최적 정지 시점을 히وري스틱으로 설정하는 대신 학습시킬 수 있는가?
• RQ2 정지 시점을 학습함으로써, 수렴까지 실행하는 표준 변분 방법보다 이미지 품질이 향상되는가?
• RQ3 학습된 정규화자의 내재된 정규화 성질은 무엇이며, 다양한 이미지 구조에서 어떻게 변화하는가?
• RQ4 최적 정지 시점이 항상 유한한 이유는 무엇이며, 이는 최적화가 더 큰 T를 허용함에도 불구하고 고전적 변분 원칙과 어떻게 배치되는가?
• RQ5 학습된 정규화자의 기울기의 비선형 스펙트럼 분석은 다양한 이미지 특징에서의 국소 행동에 대해 어떤 통찰을 제공하는가?

주요 결과

• 학습된 모델에서 최적 정지 시점 T는 항상 유한하며, 이는 정지 시점을 히وري스틱으로 설정하는 것이 아니라 최적 해의 본질적인 특성임을 시사한다.
• 제안된 방법은 노이즈 제거 및 블러 제거에서 경쟁적인 이미지 복원 성능을 달성하며, 수렴까지 실행하는 표준 변분 접근법보다 더 높은 PSNR 값을 기록한다.
• 비선형 스펙트럼 분석 결과, 작은 고유값을 갖는 고유함수는 명확한 경계를 가진 만화 스타일의 구조를 나타내며, 큰 고유값을 갖는 고유함수는 무늬와 노이즈를 나타낸다.
• 노이즈 제거의 경우, 대trast 요소 (1 - λjT/S) 범위는 0.368에서 0.999 사이이며, 이는 정규화자가 고주파 노이즈의 대비를 감소시키면서도 구조적 특징은 유지함을 의미한다.
• 블러 제거의 경우, 고유값은 작고 0 주변에 집중되어 있으며, 대비 요소는 [0.992, 1.030] 사이에 위치하여 정규화자가 대비를 감소시키거나 증가시킬 수 있으며, 이미지 경계 근처에서는 날카움 경향을 보인다.
• 스펙트럼 분석을 통한 고유함수와 대비 요소의 분석 결과, 학습된 정규화자는 고주파 노이즈를 억제하면서도 중주파수 및 저주파수 구조를 강하게 유지하는 경향을 보임을 확인하였다.