[논문 리뷰] Nonconvex and Nonsmooth Sparse Optimization via Adaptively Iterative Reweighted Methods

Hao Wang, Fan Zhang외 2명|arXiv (Cornell University)|2018. 10. 24.

Sparse and Compressive Sensing Techniques참고 문헌 48인용 수 13

한 줄 요약

이 논문은 볼록 집합 제약 조건이 있는 비볼록 및 비연속 스parse 최적화 문제를 해결하기 위한 일반적인 적응형 반복적으로 재가중하는 알고리즘 프레임워크를 제안한다. 동적으로 업데이트되는 가중치를 가진 일련의 가중치가 부여된 볼록 하위문제를 풀음으로써, 느슨한 가정 하에 전역 수렴을 달성하고 스parse 신호 복원 및 이미지 복원에서 뛰어난 성능을 보인다.

ABSTRACT

We propose a general formulation of nonconvex and nonsmooth sparse optimization problems with convex set constraint, which can take into account most existing types of nonconvex sparsity-inducing terms, bringing strong applicability to a wide range of applications. We design a general algorithmic framework of iteratively reweighted algorithms for solving the proposed nonconvex and nonsmooth sparse optimization problems, which solves a sequence of weighted convex regularization problems with adaptively updated weights. First-order optimality condition is derived and global convergence results are provided under loose assumptions, making our theoretical results a practical tool for analyzing a family of various reweighted algorithms. The effectiveness and efficiency of our proposed formulation and the algorithms are demonstrated in numerical experiments on various sparse optimization problems.

연구 동기 및 목표

• 일반적인 볼록집합 제약 조건이 있는 비볼록 및 비연속 스parse 최적화 문제를 해결하는 데서 발생하는 계산적 과제를 해결한다.
• 기본적인 ℓp 노름을 초월한 다양한 스parse 유도 항에 적용 가능한 통합 알고리즘 프레임워크를 개발한다.
• 이론적 분석이 가능한 다양한 재가중 알고리즘을 위한 전역 수렴 보장을 약한 가정 하에 확립한다.
• 이론적 분석이 가능한 다양한 재가중 알고리즘을 위한 전역 수렴 보장을 약한 가정 하에 확립한다.
• 이론적 분석이 가능한 다양한 재가중 알고리즘을 위한 전역 수렴 보장을 약한 가정 하에 확립한다.
• 스parse 신호 및 이미지 복원 작업에서의 광범위한 수치 실험을 통해 제안된 프레임워크의 효과성을 입증한다.

제안 방법

• 다양한 스parse 유도 항을 수용할 수 있는 볼록 집합 제약 조건이 있는 비볼록 및 비연속 스parse 최적화 문제의 일반적 공식화를 제안한다.
• 현재 반복값에 기반해 동적으로 업데이트되는 가중치를 사용하는 적응형 반복적으로 재가중 알고리즘을 설계한다. 이 알고리즘은 일련의 가중치가 부여된 볼록 하위문제를 풀게 된다.
• 비볼록 및 비연속 문제에 대한 일阶 최적성 조건을 유도하여 엄밀한 수렴 분석을 가능하게 한다.
• 이론적 분석이 가능한 다양한 재가중 알고리즘을 위한 전역 수렴 보장을 약한 가정 하에 확립한다.
• 두 가지 변형을 구현한다: ℓ1 기반 알고리즘(비연속 하위문제)과 ℓ2 기반 알고리즘(연속 하위문제)으로, 모두 적응형 가중치 업데이트를 사용한다.
• Moreau 포락선 근사와 NPG_major 방법을 활용하여 하위문제를 효율적으로 해결하며, p=1/2 또는 2/3인 ℓp 노름에 대해 해석적 근접 연산자를 활용한다.

실험 결과

연구 질문

• RQ1 비볼록 및 비연속 스parse 최적화 문제에 대해 다양한 스parse 유도 항을 처리할 수 있는 통합 알고리즘 프레임워크를 개발할 수 있는가?
• RQ2 비립시티스, 비볼록, 비연속 문제에 대해 적응형 반복적으로 재가중 방법이 전역적으로 어떤 조건에서 비판점으로 수렴하는가?
• RQ3 제안된 프레임워크의 성능은 기존의 재가중 방법과 비교해 수렴 속도와 해의 정확도 측면에서 어떻게 다른가?
• RQ4 이론적 수렴 보장이 유지되는 동안 일반적인 볼록집합 제약 조건을 다룰 수 있도록 프레임워크를 확장할 수 있는가?
• RQ5 적응형 가중치 업데이트 전략이 이론적 수렴 보장이 유지되는 동안 일반적인 볼록집합 제약 조건을 다룰 수 있도록 프레임워크를 확장할 수 있는가?

주요 결과

• 제안된 적응형 반복적으로 재가중 프레임워크는 낮은 연속성과 강한 강하성 조건을 포함한 약한 가정 하에 비판점으로 전역 수렴을 달성한다.
• 알고리즘의 ℓ1 기반 변형은 ℓ2 기반 변형보다 수렴 속도가 더 빠르며, ℓ1 정규화의 흩어짐 촉진 성질 덕분에 훨씬 적은 반복 수를 요구한다.
• 스parse 신호 복원 및 이미지 복원 작업에 대한 수치 실험 결과, 복원 정확도와 수렴 속도 측면에서 뛰어난 성능을 보였다.
• 이론적 수렴 보장이 유지되는 동안 일반적인 볼록집합 제약 조건을 다룰 수 있도록 프레임워크를 확장할 수 있는가?
• 이론적 수렴 보장이 유지되는 동안 일반적인 볼록집합 제약 조건을 다룰 수 있도록 프레임워크를 확장할 수 있는가?
• Moreau 포락선 근사와 NPG_major 방법을 활용한 구현은 하위문제의 효율적 해결을 가능하게 하며, p=1/2 및 p=2/3에 대해 해석적 근접 연산자를 활용해 특히 유리하다.