[논문 리뷰] Sparse and Smooth Signal Estimation: Convexification of L0 Formulations

Alper Atamtürk, Andrés Gómez외 1명|arXiv (Cornell University)|2021. 01. 01.

Sparse and Compressive Sensing Techniques인용 수 10

한 줄 요약

이 논문은 ℓ₁-완화의 한계를 직접적으로 해결하기 위해 ℓ₀-노름의 희박성과 부드러움 제약 조건을 더 강력하고 해석 가능한 볼록 형식으로 통합함으로써 희박하고 부드러운 신호 추정을 위한 반복적 볼록 원뿔 평활화 방법을 제안한다. 이 방법은 100,000개 변수를 가진 문제에서 1분 이내에 정확한 ℓ₀ 해의 1% 이내의 해를 달성하며, 표준 ℓ₁ 기반 방법보다 뛰어난 성능을 보이며 애매한 희박성 사전 지식을 가능하게 한다.

ABSTRACT

Signal estimation problems with smoothness and sparsity priors can be naturally modeled as quadratic optimization with $\ell_0$-norm constraints. Since such problems are non-convex and hard-to-solve, the standard approach is, instead, to tackle their convex surrogates based on $\ell_1$-norm relaxations. In this paper, we propose a new iterative (convex) conic quadratic relaxations that exploit not only the $\ell_0$-norm terms, but also the fitness and smoothness functions. The iterative convexification approach substantially closes the gap between the $\ell_0$-norm and its $\ell_1$ surrogate. These stronger relaxations lead to significantly better estimators than $\ell_1$-norm approaches and also allow one to utilize affine sparsity priors. In addition, the parameters of the model and the resulting estimators are easily interpretable. Experiments with a tailored Lagrangian decomposition method indicate that the proposed iterative convex relaxations ev{yield solutions within 1\% of the exact $\ell_0$ approach, and can tackle instances with up to 100,000 variables under one minute.

연구 동기 및 목표

• 비볼록인 ℓ₀ 기반의 신호 추정과 그 볼록 ℓ₁ 완화 간의 격차를 해소할 것.
• 표준 ℓ₁ 완화보다 더 정확하게 희박성(ℓ₀-노름)과 부드러움 제약 조건을 동시에 모델링하는 볼록 최적화 프레임워크를 개발할 것.
• ℓ₁ 기반 접근 방식에서 자연스럽게 지원되지 않는 애매한 희박성 사전 지식을 신호 추정에 통합할 수 있도록 할 것.
• 더 강력한 볼록 완화를 구성함으로써 진정한 ℓ₀ 문제를 더 잘 근사함으로써 해의 품질과 해석 가능성 향상을 도모할 것.
• 100,000개 변수까지의 대규모 사례를 1분 이내에 고정된 정확도를 유지하면서도 효율적으로 해결할 수 있는 알고리즘을 설계할 것.

제안 방법

• 희박성과 부드러움을 직접 캡처하기 위해 ℓ₀-노름 제약 조건을 포함한 이차 최적화 문제로 희박하고 부드러운 신호 추정을 공식화할 것.
• 유의미한 적합성과 부드러움 함수를 통합함으로써 ℓ₀-노름의 근사치를 향상시키는 원뿔 이차 완화를 사용한 반복적 볼록화 접근 방식을 도입할 것.
• 결과적으로 발생하는 대규모 볼록 문제를 효율적으로 해결하기 위해 특화된 라그랑주 분해 방법을 활용할 것.
• 반복적 정밀도 향상 기법을 통해 점차적으로 볼록 완화를 개선하고, ℓ₀ 문제와 그 볼록 대체 문제 사이의 이중성 갭을 감소시킬 것.
• 희박성 사전 지식을 직접 최적화 모델에 통합함으로써 애매한 희박성 사전 지식을 통합할 것. 이는 모델의 유연성과 해석 가능성 향상에 기여할 것.
• 볼록 원뿔 프로그래밍의 구조를 활용하여 계산 효율성을 유지함으로써 대규모 문제의 빠른 해를 가능하게 할 것.

실험 결과

연구 질문

• RQ1 표준 ℓ₁ 완화보다 더 정확하게 비볼록인 ℓ₀-노름 문제를 근사할 수 있는 볼록 완화 프레임워크를 설계할 수 있는가?
• RQ2 부드러움과 희박성 사전 지식을 볼록 최적화 프레임워크 내에서 동시에 모델링하여 해의 품질을 향상시킬 수 있는가?
• RQ3 실제로 반복적 볼록화가 ℓ₀와 ℓ₁ 해 사이의 격차를 어느 정도 감소시킬 수 있는가?
• RQ4 제안된 방법은 대규모 문제(예: 100,000개 변수)를 효율적으로 처리하면서도 높은 해의 정확도를 유지할 수 있는가?
• RQ5 애매한 희박성 사전 지식은 볼록 최적화 프레임워크에 효과적으로 통합될 수 있는가?

주요 결과

• 제안된 반복적 볼록 원뿔 완화 방법은 대규모 신호 추정 문제에서 정확한 ℓ₀ 해의 1% 이내의 해를 도출한다.
• 이 방법은 100,000개 변수까지의 사례를 특화된 라그랑주 분해 방법을 사용하여 1분 이내에 해결할 수 있다.
• 이 접근 방식은 더 강력한 완화를 제공함으로써 표준 ℓ₁ 기반 방법보다 뚜렷이 뛰어난 성능을 보이며, 진정한 ℓ₀ 행동을 더 잘 반영한다.
• 희박성과 부드러움의 구조를 명시적으로 통합함으로써 모델 매개변수와 도출된 추정기의 해석이 용이하다.
• 전통적인 ℓ₁-정규화 형식에서 자연스럽게 수용되지 않는 애매한 희박성 사전 지식을 지원하는 프레임워크를 제공한다.
• 반복적 볼록화 과정은 ℓ₀와 ℓ₁ 완화 간의 격차를 효과적으로 줄이며, 거의 최적의 ℓ₀ 해에 도달하는 실용적인 길을 제공한다.