[논문 리뷰] Sparse Approximation via Penalty Decomposition Methods

Zhaosong Lu, Yong Zhang|arXiv (Cornell University)|2012. 05. 10.

Sparse and Compressive Sensing Techniques참고 문헌 47인용 수 12

한 줄 요약

이 논문은 일반적인 $l_0$ 최소화 문제를 해결하기 위해 페널티 분해(PD) 방법을 제안하며, 블록 좌표 강하(BCD)를 사용해 순차적인 페널티 하위문제를 해결한다. 수렴 분석을 통해 반복점의 모든 집적점이 1차 최적성 조건을 만족하며, 볼록성 가정 하에 이러한 점들이 국소 최소점이 됨을 보여준다. 이는 압축 측정, 희소 로지스틱 회귀, 희소 공분산 선택과 같은 분야에서 기존 방법들보다 뛰어난 해의 질과 빠른 수렴 속도를 보임을 시사한다.

ABSTRACT

In this paper we consider sparse approximation problems, that is, general $l_0$ minimization problems with the $l_0$-"norm" of a vector being a part of constraints or objective function. In particular, we first study the first-order optimality conditions for these problems. We then propose penalty decomposition (PD) methods for solving them in which a sequence of penalty subproblems are solved by a block coordinate descent (BCD) method. Under some suitable assumptions, we establish that any accumulation point of the sequence generated by the PD methods satisfies the first-order optimality conditions of the problems. Furthermore, for the problems in which the $l_0$ part is the only nonconvex part, we show that such an accumulation point is a local minimizer of the problems. In addition, we show that any accumulation point of the sequence generated by the BCD method is a saddle point of the penalty subproblem. Moreover, for the problems in which the $l_0$ part is the only nonconvex part, we establish that such an accumulation point is a local minimizer of the penalty subproblem. Finally, we test the performance of our PD methods by applying them to sparse logistic regression, sparse inverse covariance selection, and compressed sensing problems. The computational results demonstrate that our methods generally outperform the existing methods in terms of solution quality and/or speed.

연구 동기 및 목표

• 일般적인 $l_0$ 최소화 문제를 해결하는 데 도전하는 것 — 이는 NP-완전이며 효율적인 전역 해법이 없는 문제임.
• 비볼록성과 조합적 성격을 지닌 $l_0$-노름 최소화 문제에 대해 수렴 보장이 되는 알고리즘 프레임워크를 개발하는 것.
• 약한 가정 하에 제안된 페널티 분해(PD) 방법의 이론적 수렴 보장을 확립하는 것.
• 주요 희소 학습 응용 분야에서 기존 접근법에 비해 PD 방법의 실용적 우수성을 입증하는 것.

제안 방법

• PD 방법은 $l_0$-노름을 정확한 페널티 공식을 통해 페널티화함으로써 순차적인 페널티 하위문제를 반복적으로 최소화함으로써 $l_0$ 최소화 문제를 해결한다.
• 각 페널티 하위문제는 변수 $x$와 $l_0$-노름을 나타내는 보조 변수를 번갈아 최적화하는 블록 좌표 강하(BCD) 방법을 사용해 해결한다.
• 이 방법은 $l_0$-노름 제약을 완화하기 위해 정확한 페널티 함수를 적용하여 비볼록 문제를 더 매끄러운 하위문제의 시퀀스로 변환한다.
• 수렴 분석는 표준 가정 하에 수행되며, $f$, $g$, $h$가 연속적으로 미분 가능하고, $h$가 애매선형일 때 $f$와 $g$가 볼록임을 가정한다.
• 수치 실험에서 다양한 희소성 수준 간에 온난 시작 전략을 적용하여 계산 효율성을 향상시켰다.
• 알고리즘은 압축 측정, 희소 로지스틱 회귀, 희소 공분산 선택과 같은 세 가지 실제 문제에 적용되었다.

실험 결과

연구 질문

• RQ1 블록 좌표 강하를 사용한 페널티 분해 방법이 일반적인 $l_0$ 최소화 문제에 대해 1차 최적해로 수렴할 수 있는가?
• RQ2 PD 반복점의 집적점이 원래 문제의 국소 최소점이 되는 조건은 무엇인가?
• RQ3 해의 질과 계산 속도 측면에서 IHT와 GPSR과 같은 기존 방법에 비해 PD 방법의 성능은 어떻게 비교되는가?
• RQ4 $l_p$-노름 완화 접근법이 $p \in (0,1]$ 일지라도 진짜 희소 해를 회복하지 못할 수 있는가?

주요 결과

• PD 방법이 생성하는 수열의 모든 집적점은 $l_0$ 최소화 문제의 1차 최적성 조건을 만족한다.
• $f$와 $g$가 볼록이고 $h$가 애매선형일 경우, PD 반복점의 모든 집적점은 원래 문제의 국소 최소점이 된다.
• 주어진 페널티 하위문제에 대해 BCD 반복점의 모든 집적점은 해당 하위문제의 안장점이 된다.
• 동일한 볼록성 가정 하에, 이러한 BCD 집적점은 페널티 하위문제의 국소 최소점이기도 하다.
• 압축 측정에서, $A$가 정규직교 행을 가질 경우를 포함해, PD 방법은 GPSR보다 훨씬 낮은 잔차를 달성하며 IHT와 비교해 유사하거나 더 낫거나 성능이 뛰어나다.
• 해의 질 측면에서 PD 방법은 GPSR을 능가하며, 정확도에서는 IHT와 맞먹거나 초월하며, 특히 고희소성 영역에서 경쟁적인 속도를 유지한다.