[논문 리뷰] Exact penalty decomposition method for zero-norm minimization based on MPEC formulation

Shujun Bi, Xiaolan Liu외 1명|arXiv (Cornell University)|2014. 12. 15.

Sparse and Compressive Sensing Techniques참고 문헌 31인용 수 4

한 줄 요약

이 논문은 제로노름 최소화 문제를 수학적 프로그래밍과 등식 제약 조건(MPEC)으로 재구성함으로써 정확한 페널티 분해 방법을 제안한다. 정확한 페널티 설정을 수립하고, L-BFGS 또는 세미스무스 뉴턴-CG를 사용한 부분 프락시멀 점법을 적용하여 유한한 수의 가중 $l_1$-노름 하위문제를 푸는 분해 알고리즘을 개발한다. 이 방법은 영공간 조건 하에서 전역 최적성을 확보하며, 복구 가능성과 계산 효율성 면에서 기존 솔버들을 능가한다.

ABSTRACT

We reformulate the zero-norm minimization problem as an equivalent mathematical program with equilibrium constraints and establish that its penalty problem, induced by adding the complementarity constraint to the objective, is exact. Then, by the special structure of the exact penalty problem, we propose a decomposition method that can seek a global optimal solution of the zero-norm minimization problem under the null space condition in [M. A. Khajehnejad et al. IEEE Trans. Signal. Process., 59(2011), pp. 1985-2001] by solving a finite number of weighted $l_1$-norm minimization problems. To handle the weighted $l_1$-norm subproblems, we develop a partial proximal point algorithm where the subproblems may be solved approximately with the limited memory BFGS (L-BFGS) or the semismooth Newton-CG. Finally, we apply the exact penalty decomposition method with the weighted $l_1$-norm subproblems solved by combining the L-BFGS with the semismooth Newton-CG to several types of sparse optimization problems, and compare its performance with that of the penalty decomposition method [Z. Lu and Y. Zhang, SIAM J. Optim., 23(2013), pp. 2448- 2478], the iterative support detection method [Y. L. Wang and W. T. Yin, SIAM J. Sci. Comput., 3(2010), pp. 462-491] and the state-of-the-art code FPC_AS [Z. W. Wen et al. SIAM J. Sci. Comput., 32(2010), pp. 1832-1857]. Numerical comparisons indicate that the proposed method is very efficient in terms of the recoverability and the required computing time.

연구 동기 및 목표

• 비볼록성과 불연속성으로 인해 NP-난이도인 제로노름 최소화 문제를 해결하는 데 도전하는 것.
• 영공간 조건 하에서 전역 수렴 보장이 되는 알고리즘을 개발하는 것.
• 페널티 분해 및 반복적 지지도구와 같은 기존 방법을 향상시켜 복구 가능성과 계산 시간을 개선하는 것.
• L-BFGS 및 세미스무스 뉴턴-CG를 활용한 정확한 하위문제 해결 방법을 설계하는 것.

제안 방법

• 제로노름 최소화 문제를 제로노름의 변동 특성 분석을 통해 등가의 MPEC로 재구성하는 것.
• 페널티 매개수가 임계값을 초과할 경우 페널티 문제의 전역 최적해가 원래 문제의 해와 일치하는 정확한 페널티 설정을 수립하는 것.
• 유한한 수의 가중 $l_1$-노름 최소화 하위문제를 풀어 제로노름 문제의 전역 최적해를 근사하는 분해 방법을 제안하는 것.
• 각 가중 $l_1$-노름 하위문제를 해결하기 위해 부분 프락시멀 점법(PPA)을 개발하여 L-BFGS 또는 세미스무스 뉴턴-CG를 활용해 비정확한 해도 허용하는 것.
• 하위문제 해결 방법을 분해 프레임워크에 통합하여 정확한 페널티 분해 방법(알고리즘 5.1)을 구성하는 것.
• [23]에서 제시한 영공간 조건을 제로노름 문제의 전역 최적해를 복구할 수 있는 충분조건으로 활용하는 것.

실험 결과

연구 질문

• RQ1 제로노름 최소화 문제는 제로노름의 변동 특성 분석을 통해 등가의 MPEC로 재구성될 수 있는가?
• RQ2 페널티 매개수가 충분히 클 경우 MPEC의 정확한 페널티 설정이 원래 제로노름 문제의 전역 최적해를 도출하는가?
• RQ3 가중 $l_1$-노름 하위문제를 푸는 기반의 분해 방법이 영공간 조건 하에서 전역 최적성을 달성할 수 있는가?
• RQ4 제안된 방법의 성능은 FPC_AS 및 ISDM 대비 복구 가능성과 계산 시간 측면에서 어떻게 비교되는가?
• RQ5 분해 방법의 하위문제들은 L-BFGS 및 세미스무스 뉴턴-CG를 사용해 비정확한 하위문제 해결 방식으로 효율적으로 풀 수 있는가?

주요 결과

• MPEC의 정확한 페널티 설정은 페널티 매개수가 임계값을 초과할 경우 전역 최적해가 원래 제로노름 문제의 해와 정확히 일치함을 보여준다.
• 제안된 분해 방법은 [23]에서 제시한 영공간 조건 하에서 제로노름 문제의 전역 최적해를 복구한다.
• 알고리즘 5.1은 FPC_AS에 비해 뛰어난 복구 가능성과 ISDM과 비교해도 유사하거나 더 낫거나 한 성능을 보이며, 어려운 Sparco 컬렉션 문제들까지 포함한 모든 테스트 문제에서 뛰어난 성능을 보였다.
• 계산 시간 측면에서 알고리즘 5.1은 특히 대규모 및 희박 문제에서 ISDM보다 뚜렷이 빠르게 동작한다.
• 'jitter' 및 'spiketrn' 문제에서는 각각 0.36초와 1.45초의 시간으로 알고리즘 5.1이 빠른 처리를 달성했고, ISDM은 각각 4.82초를 소요했으며 더 높은 정확도를 확보했다.
• 24개의 테스트 문제 중 18개에서 가장 낮은 복구 오차를 기록했으며, 'jitter'와 'spiketrn' 문제에서는 각각 1.27e-7 및 1.94e-9의 낮은 오차를 기록하여 FPC_AS 및 ISDM을 모두 능가했다.