[논문 리뷰] A second-order method with enriched Hessian information for imaging composite sparse optimization problems

Pedro Merino, Juan Carlos De los Reyes|arXiv (Cornell University)|2020. 09. 03.

Sparse and Compressive Sensing Techniques참고 문헌 13인용 수 2

한 줄 요약

이 논문은 비볼록 스무스 항과 ℓ₁-노름 정규화를 포함하는 선형 복합 희소 문제를 위한 이阶 최적화 방법을 제안한다. 비미분 가능 항의 최소 노름 부분미분을 통합하고, 투영 단계 및 비미분 가능 항의 풍부한 헤시안 정보를 활용함으로써, 특히 미분 가능 그래프 연산자를 포함한 복합 희소 최적화 문제에서 뛰어난 수렴성과 효율성을 달성한다.

ABSTRACT

In this paper we propose a second--order method for solving \emph{linear composite sparse optimization problems} consisting of minimizing the sum of a differentiable (possibly nonconvex function) and a nondifferentiable convex term. The composite nondifferentiable convex penalizer is given by $\ell_1$--norm of a matrix multiplied with the coefficient vector. The algorithm that we propose for the case of the linear composite $\ell_1$ problem relies on the three main ingredients that power the OESOM algorithm \cite{dlrlm07}: the minimum norm subgradient, a projection step and, in particular, the second--order information associated to the nondifferentiable term. By extending these devices, we obtain a full second--order method for solving composite sparse optimization problems which includes a wide range of applications. For instance, problems involving the minimization of a general class \emph{differential graph operators} can be solved with the proposed algorithm. We present several computational experiments to show the efficiency of our approach for different application examples.

연구 동기 및 목표

• 비볼록 스무스 항과 ℓ₁-정규화를 포함하는 선형 복합 희소 최적화 문제를 해결하는 데 도전하는 것.
• 비미분 가능 ℓ₁ 항에 대한 풍부한 헤시안 정보를 통합함으로써 이阶 최적화 방법을 향상시키는 것.
• 수렴성과 안정성을 향상시키기 위해 전체 이阶 정보를 통합한 OESOM 알고리즘을 확장하는 것.
• 제안된 프레임워크를 통해 미분 가능 그래프 연산자를 포함한 문제를 효율적으로 해결할 수 있도록 하는 것.

제안 방법

• 비미분 가능 ℓ₁ 항을 다루기 위해 최소 노름 부분미분을 사용한다.
• 최적화 반복 과정에서 제약 조건을 충족하거나 타당성을 유지하기 위해 투영 단계를 사용한다.
• ℓ₁-노름 항의 구조에 맞게 조정된 헤시안 근사치를 계산하여 이阶 정보를 풍부하게 한다.
• 곡률 정보를 활용하여 더 빠른 수렴을 이룰 수 있도록, 이러한 요소들을 통합한 전체 이阶 최적화 방법을 구성한다.
• 최적화 프레임워크에 그 구조를 통합함으로써 일반적인 미분 가능 그래프 연산자를 다룰 수 있도록 설계된다.
• 비미분 가능 성분에 특화된 헤시안 정보를 통합함으로써 OESOM을 확장하여 안정성과 수렴 속도를 향상시킨다.

실험 결과

연구 질문

• RQ1 비볼록 스무스 항과 ℓ₁ 정규화를 포함하는 복합 희소 최적화 문제에 대해 이阶 최적화 방법을 효과적으로 확장할 수 있는가?
• RQ2 ℓ₁ 항의 풍부한 헤시안 정보가 수렴성과 안정성 향상에 어떤 역할을 하는가?
• RQ3 제안된 방법은 미분 가능 그래프 연산자를 포함한 문제를 효율적으로 해결할 수 있는가?
• RQ4 최소 노름 부분미분과 투영 단계의 통합이 일阶 또는 기본 이阶 최적화 방법에 비해 성능을 어떻게 향상시키는가?

주요 결과

• 비미분 가능 ℓ₁ 항의 풍부한 헤시안 정보를 활용함으로써 제안된 방법은 향상된 수렴 속도를 달성한다.
• 최소 노름 부분미분과 투영 단계의 통합은 최적화 과정에서 수치적 안정성과 타당성을 향상시킨다.
• 알고리즘은 특히 미분 가능 그래프 연산자를 포함한 복합 희소 문제에서도 뛰어난 성능을 보인다.
• 계산 실험을 통해 다양한 적용 예시에서 방법의 효율성과 강인성을 확인할 수 있었다.
• 실제 적용에서 더 빠른 수렴을 이끌어내기 위해 전체 이阶 정보를 통합함으로써 OESOM 프레임워크가 확장되었다.