[논문 리뷰] On the resolution of l0 minimization problems via alternating Lagrangian schemes

Yue Xie, Uday V. Shanbhag|arXiv (Cornell University)|2017. 10. 12.

Sparse and Compressive Sensing Techniques인용 수 1

한 줄 요약

이 논문은 희소 복원 및 기계 학습에서 핵심적인 역할을 하는 ℓ₀-최소화 문제를 수학적 프로그래밍과 보완 제약 조건(MPCC)으로 재구성함으로써 해결하는 방법을 제안한다. ADMM 및 보조 라그랑주 기반 방법을 사용하여 KKT 점과 국소 최소화자로의 수렴을 증명하였으며, 저차원에서는 near-global 해에 수렴하고 고차원에서는 경쟁력 있는 성능을 보였다.

ABSTRACT

We consider an $\ell_0$-minimization problem where $f(x) + \|x\|_0$ is minimized over a polyhedral set and the $\ell_0$-norm penalty implicitly emphasizes sparsity of the solution. Such a setting captures a range of problems in image processing and statistical learning. However, given the the nonconvex and discontinuous nature of this norm, convex penalties are often employed as substitutes, and far less is known about directly solving the $\ell_0$-minimization problem. In this paper, inspired by Feng et.al. [20], we consider the resolution of an equivalent formulation of the $\ell_0$-minimization problem as a mathematical program with complementarity constraints (MPCC) and make the following contributions. (i) First, we show that feasible points of this formulation satisfy Guignard constraint qualification. In fact, under suitable convexity assumptions on $f(x)$, KKT conditions are sufficient. (ii) Next, we consider the resolution of the MPCC formulation through two Lagrangian schemes. The first is an ADMM scheme in which we prove that despite the overall nonconvexity, each ADMM subproblem can be solved efficiently recognizing a hidden convexity property. Furthermore, every limit point of the sequence produced by this scheme is a first-order KKT point and a local minimizer, under additional conditions. (iii) The second algorithm is an augmented Lagrangian scheme in which the Lagrangian subproblem is resolved by a proximal alternating algorithm. Under suitable boundedness requirements, the sequence admits a limit point that satisfies the criticality requirement. Preliminary numerics show that solutions of the ADMM scheme are near global in low dimensions and competitive against other methods in high dimensions. Moreover, the augmented Lagrangian scheme often provides solutions of comparable or better quality than the ADMM scheme at some computational cost.

연구 동기 및 목표

• 희소 신호 복원 및 통계적 학습에서 발생하는 비볼록, 비연속적인 ℓ₀-최소화 문제를 직접 해결하는 데 도전한다.
• ℓ₁-정규화 등과 같은 볼록 완화 방법의 한계를 극복하기 위해 원래의 ℓ₀-노름 설정을 직접 타깃으로 삼는 방법을 개발한다.
• 적절한 가정 하에 1차 최적 조건(즉, KKT 조건)으로의 수렴에 대한 이론적 보장을 수립한다.
• 전반적인 비볼록성에도 불구하고 부분 문제에서 숨겨진 볼록성 구조를 활용하는 효율적인 알고리즘을 설계한다.
• ADMM 및 보조 라그랑주 기반 방법의 해의 질과 계산 비용 측면에서 성능을 비교한다.

제안 방법

• ℓ₀-최소화 문제를 보완 제약 조건을 가진 수학적 프로그래밍(MPCC)으로 재구성하여 제약 최적화 기법의 적용을 가능하게 한다.
• 각 부분 문제에서 비볼록성에도 불구하고 숨겨진 볼록성 구조를 인식함으로써 효율적으로 해결할 수 있는 ADMM 기반 방법을 적용한다.
• ADMM 수열의 모든 극한 점이 추가적인 볼록성 및 유계성 가정 하에 1차 KKT 조건을 만족하고 국소 최소화자임을 증명한다.
• 라그랑주 부분 문제를 비볼록성을 다루기 위해 프록시멀 교대 알고리즘으로 해결하는 보조 라그랑주 기반 방법을 개발한다.
• 보조 라그랑주 수열의 유계성 조건을 만족할 경우, 임계점(즉, KKT 조건을 만족하는 점)으로의 수렴을 확립한다.
• 볼록성 가정 하에 Guignard 제약 조건 충족성과 KKT 충분성 조건을 활용하여 이론적 보장을 강화한다.

실험 결과

연구 질문

• RQ1 MPCC 재구성 방법을 통해 ℓ₀-최소화 문제를 효과적으로 해결할 수 있으며, 이론적 수렴 보장이 유지되는가?
• RQ2 비볼록성에도 불구하고 MPCC 재구성에 ADMM 기반 방법을 적용할 경우, KKT 점과 국소 최소화자로 수렴하는가?
• RQ3 ADMM 기반 방법의 성능은 보조 라그랑주 기반 방법과 해의 질과 계산 비용 측면에서 어떻게 비교되는가?
• RQ4 ADMM 프레임워크에서 비볼록 ℓ₀-최소화 문제의 부분 문제를 효율적으로 해결할 수 있는 숨겨진 볼록성 특성은 무엇인가?
• RQ5 제안된 방법들이 어떤 조건에서 near-global 해이거나 기존 방법과 경쟁 가능한 해를 산출하는가?

주요 결과

• MPCC 재구성의 타당 점은 Guignard 제약 조건 충족성을 만족하며, f(x)에 대해 볼록성 가정이 있을 경우 KKT 조건은 최적성의 충분 조건이 된다.
• 추가 조건 하에 ADMM 기반 방법은 1차 KKT 점과 국소 최소화자로 수렴하며, 각 부분 문제는 숨겨진 볼록성 덕분에 효율적으로 해결 가능하다.
• 초기 수치 실험 결과 ADMM 기반 방법은 저차원 문제에서 near-global 최적해에 수렴하는 것으로 나타났다.
• 고차원 문제에서는 ADMM 기반 방법이 다른 기존 방법들과 비교해 경쟁력 있는 성능을 보였다.
• 보조 라그랑주 기반 방법은 ADMM보다 해의 질이 유사하거나 더 우수하며, 계산 비용은 더 높은 편이다.
• 적절한 유계성 가정 하에 보조 라그랑주 기반 방법은 임계 조건(즉, KKT 조건)을 만족하는 극한 점을 가진다.