[논문 리뷰] Gradient Based Methods for Non-Smooth Regularization Via Convolution Smoothing

Sergey Voronin, Davis Yoshida|arXiv (Cornell University)|2014. 08. 28.

Sparse and Compressive Sensing Techniques참고 문헌 16인용 수 2

한 줄 요약

이 논문은 절댓값 항을 포함한 비미분 가능 정규화 문제를 미분 가능 형태로 변환하는 컨volution 기반 스무딩 기법을 제안한다. 비미분 가능 항을 컨볼루션을 통해 근사화함으로써, 경사 기반 최적화(예: 최강하강법, 공액 그래디언트)를 효율적으로 적용할 수 있게 되며, 선형 역문제에서 희소 솔루션 복원에 있어 몇 번의 반복만으로도 빠른 수렴을 달성한다.

ABSTRACT

We present a smoothing technique which allows for the use of gradient based methods (such as steepest descent and conjugate gradients) for non-smooth regularization of inverse problems. As an application of this technique, we consider the problem of finding regularized solutions of linear systems Ax = b with sparsity constraints. Such problems involve the minimization of a functional with an absolute value term, which is not smooth. We replace the non-smooth term by a smooth approximation, computed via a convolution. We are then able to compute gradients and Hessians, and utilize standard gradient based methods which yield good numerical performance in few iterations. 1

연구 동기 및 목표

• 절댓값 항을 포함한 비스무스 정규화 문제에 대해 경사 기반 최적화를 적용하는 데 도전 과제를 해결하기 위해.
• 비미분 가능 정규화 항의 스무딩 근사를 개발하여 경사 계산을 가능하게 하기 위해.
• 희소성 제약 조건이 있는 선형 역문제에 이 스무딩 기법을 적용하기 위해, 예를 들어 ||Ax - b||² + λ||x||₁을 최소화하는 문제에 적용하기 위해.
• 스무딩된 기능에 대해 경사 방법을 적용할 경우 빠르고 수치적으로 안정적인 수렴이 이루어짐을 보여주기 위해.

제안 방법

• 비스무스 ℓ¹-노름 항 ||x||₁을 미분 가능 커널과의 컨볼루션을 통해 스무딩된 근사로 대체한다.
• 절댓값 함수를 미분 가능하고 컴act 지지 집합을 가진 커널과 컨볼루션하여 C∞ 근사를 얻는 스무딩 기능을 구성한다.
• 스무딩된 기능의 경사와 헤시안을 계산하여 표준 최적화 방법(예: 공액 그래디언트)의 사용을 가능하게 한다.
• 스무딩된 기능을 티코노프 유형 문제에 적용한다: ||Ax - b||² + λ‖x‖₁을 최소화하는 문제로, 이제 경사 하강법에 적합해진다.
• 스무딩 파라미터가 원래 비스무스 항의 스무딩 정도와 근사 정확도 사이의 트레이드오프를 제어하도록 보장한다.

실험 결과

연구 질문

• RQ1 ℓ¹-정규화를 포함한 비스무스 정규화 문제는 경사 기반 방법으로 효과적으로 해결될 수 있는가?
• RQ2 컨볼루션 기반 스무딩을 통해 비스무스 절댓값 함수는 얼마나 정확하게 근사될 수 있는가?
• RQ3 스무딩 파라미터는 경사 방법의 수렴성과 정확도에 어떤 영향을 미치는가?
• RQ4 스무딩된 공식은 원래 ℓ¹-정규화의 희소성 촉진 성질을 유지하는가?

주요 결과

• 컨볼루션 기반 스무딩 기법은 비스무스 정규화 문제를 스무딩되고 경사로 표현 가능한 형태로 성공적으로 변환한다.
• 스무딩된 기능에 적용된 경사 기반 방법은 종종 몇 번의 반복만으로도 빠른 수렴을 달성한다.
• 이 방법은 ℓ¹-정규화의 희소성 유도 성질을 유지하여 희소 솔루션의 복원을 가능하게 한다.
• 절댓값 함수의 스무딩 근사는 경사와 헤시안의 신뢰할 수 있는 계산을 가능하게 한다.