[논문 리뷰] Convolution based smooth approximations to the absolute value function with application to non-smooth regularization

Sergey Voronin, Gorkem Ozkaya외 1명|arXiv (Cornell University)|2014. 08. 28.

Sparse and Compressive Sensing Techniques참고 문헌 18인용 수 11

한 줄 요약

이 논문은 가우시안 모리피어를 사용한 컨볼루션 기반의 절댓값 함수에 대한 부드럽게 근사화하는 방법을 제안하며, 이는 비연속적인 스파arsity 유도 정규화 문제에 대한 기울기 기반 최적화를 가능하게 한다. 이 방법은 $F_p(x)$의 효율적 최소화를 가능하게 하며, 비선형 공액 기울기 및 뉴턴 방법을 활용하여 압축 감지에서 FISTA보다 뛰어난 복원 성능을 달성한다. 특히 $p<1$ 이며 고소음 조건일 경우에 유의미한 성능 향상을 보인다.

ABSTRACT

We present new convolution based smooth approximations to the absolute value function and apply them to construct gradient based algorithms such as the nonlinear conjugate gradient scheme to obtain sparse, regularized solutions of linear systems $Ax = b$, a problem often tackled via iterative algorithms which attack the corresponding non-smooth minimization problem directly. In contrast, the approximations we propose allow us to replace the generalized non-smooth sparsity inducing functional by a smooth approximation of which we can readily compute gradients and Hessians. The resulting gradient based algorithms often yield a good estimate for the sought solution in few iterations and can either be used directly or to quickly warm start existing algorithms.

연구 동기 및 목표

• 표준 서브기울기 방법으로 최적화하기 어려운 비연속적이고 비볼록적인 스파arsity 촉진 기능성인 $F_p(x)$ (특히 $p<1$)를 최소화하는 데 도전한다.
• $\ell_p$-노름이 $p<1$일 때의 미분 가능성 부족 문제를 해결하기 위해 절댓값 함수에 대한 부드러운 근사화를 구축한다.
• 비연속적인 기능성에 대해 효율적인 기울기 기반 최적화 알고리즘(예: 비선형 공액 기울기, 뉴턴 방법)을 적용할 수 있도록 한다.
• 일반적인 $\ell_1$ 정규화를 넘어서 비볼록 $\ell_p$ 기반 문제에까지 적용 가능한 융통성 있고 일반적인 부드러운 근사화 프레임워크를 제공한다.
• 수치적으로 $p \approx 0.83$일 때의 부드러운 근사화가 고소음 조건에서 $p=1$보다 더 높은 복원 정확도를 보임을 입증한다.

제안 방법

• 가우시안 커널을 사용한 컨볼루션을 통해 $|t|$에 대한 부드러운 근사화를 구성한다: $s_{\sigma}(t) = (|\cdot| * \mathcal{N}_{\sigma})(t)$, $\sigma \to 0$일 때 $L^1$ 수렴을 보장한다.
• 비연속 기능성 $F_p(x) = \|Ax-b\|_2^2 + 2\tau\|x\|_p$에 대한 부드러운 근사화 $H_{p,\sigma}(x)$를 정의하며, $|x_k|$를 컨볼루션 기반 부드러운 버전으로 대체한다.
• 기울기 $\nabla_x H_{p,\sigma}(x)$ 및 헤시안 $\nabla^2_x H_{p,\sigma}(x)$의 해석적 표현을 유도하여 이차 최적화 방법의 적용을 가능하게 한다.
• 헤시안 기반 또는 유한차분 선 탐색 근사치를 사용한 비선형 공액 기울기 및 하이브리드 방법(예: 5단계 뉴턴 단계를 포함한 CG)을 구현한다.
• 반복적 해법에서 $p=1$일 땐 소프트 스레셔딩, $p<1$일 땐 하드 스레셔딩을 적용하여 해의 스파arsity를 촉진한다.
• 정규화 경로를 따라 더 높은 $\tau$ 값에서의 해를 재사용하여 낮은 $\tau$ 값의 초기 추정치로 사용하는 웜스타트 전략을 적용한다.

실험 결과

연구 질문

• RQ1 절댓값 함수에 대한 컨볼루션 기반 근사화가 $L^1$ 노름에서 원래 함수로 수렴하는 부드럽고 미분 가능한 근사화를 제공할 수 있는가?
• RQ2 원래 기능성이 비미분 가능할 때, $p<1$인 $\ell_p$-정규화 문제에 대해 기울기 기반 최적화 방법이 부드러운 근사화에 효과적으로 적용될 수 있는가?
• RQ3 부드러운 기능성에서 $p<1$을 사용할 경우, 원래 $p=1$보다 노이즈가 많은 조건에서의 스파스 복원 성능이 향상되는가?
• RQ4 부드러운 근사화에 대해 공액 기울기 및 뉴턴 기반 방법이 수렴 속도와 복원 정확도 측면에서 FISTA를 능가할 수 있는가?
• RQ5 스무딩 파rameter $\sigma$의 선택과 헤시안 기반 선 탐색의 사용이 최적화 방법의 수치적 안정성과 성능에 어떤 영향을 미치는가?

주요 결과

• 절댓값 함수에 대한 컨볼루션 기반 부드러운 근사화는 $\sigma \to 0$일 때 $L^1$ 노름에서 수렴하며, 이는 부드러운 기능성 $H_{p,\sigma}(x)$가 $F_p(x)$에 잘 근사함을 보장한다.
• 특히 고소음 조건에서, $p=1$일 때 $H_{p,\sigma}(x)$에 대한 공액 기울기 방법이 FISTA보다 더 높은 복원 정확도를 더 적은 반복 수로 달성한다.
• 부드러운 기능성에서 $p=0.83$을 사용할 경우 $p=1$보다 더 낮은 복원 오차를 기록하며, 이는 스파스 복원에서 비볼록 $\ell_p$ 정규화의 성능 향상을 입증한다.
• CG 알고리즘 내부에 5단계의 뉴턴 반복을 통합함으로써 해의 품질이 약간 향상되며, 이는 부드러운 기능성에 대해 고차 최적화의 이점을 보여준다.
• 부드러운 근사화 프레임워크는 비연속 스파arsity 문제에 대해 기울기 기반 해법을 효율적으로 활용할 수 있게 하며, 기존 스레셔딩 방법의 유의미한 대안 또는 웜스타트 전략이 될 수 있다.
• 모든 CG 기반 방법이 $5000 \times 5025$ 감지 행렬을 사용한 이미지 복원 실험에서 FISTA를 능가하며, $p=0.83$ 버전이 테스트 환경에서 가장 낮은 퍼센트 오차(1.8%)를 기록했다.