[논문 리뷰] Sparsity Constrained Minimization via Mathematical Programming with Equilibrium Constraints

Ganzhao Yuan, Bernard Ghanem|arXiv (Cornell University)|2016. 08. 15.

Sparse and Compressive Sensing Techniques참고 문헌 54인용 수 20

한 줄 요약

이 논문은 수학적 프로그래밍을 통한 평형 제약 조건(MPEC)을 사용하여 희소성 제약 최소화 문제를 새로운 방식으로 다룬다. 비볼록성 $̆_0$-노름 문제를 이중볼록성 MPEC로 재구성하며, 정확한 페널티 방법과 교차 방향 방법을 통해 수렴 보장이 되는 두 가지 알고리즘을 제안한다. 이는 특징 선택, 이미지 노이즈 제거, 추세 필터링 등 다양한 응용 분야에서 기존 IHT 기반 방법들을 능가하는 최신 기술 성능을 달성한다. 또한 KKT 점으로의 수렴 보장이 이루어진다.

ABSTRACT

Sparsity constrained minimization captures a wide spectrum of applications in both machine learning and signal processing. This class of problems is difficult to solve since it is NP-hard and existing solutions are primarily based on Iterative Hard Thresholding (IHT). In this paper, we consider a class of continuous optimization techniques based on Mathematical Programs with Equilibrium Constraints (MPECs) to solve general sparsity constrained problems. Specifically, we reformulate the problem as an equivalent biconvex MPEC, which we can solve using an exact penalty method or an alternating direction method. We elaborate on the merits of both proposed methods and analyze their convergence properties. Finally, we demonstrate the effectiveness and versatility of our methods on several important problems, including feature selection, segmented regression, MRF optimization, trend filtering and impulse noise removal. Extensive experiments show that our MPEC-based methods outperform state-of-the-art techniques, especially those based on IHT.

연구 동기 및 목표

• 일반적인 희소성 제약 최소화 문제의 NP-난이도를 다루기 위해 $̆_0$-노름 제약 조건을 적용한다.
• 일반적으로 최적해가 아닌 해를 도출하는 경향이 있는 기존 방법들, 예를 들어 반복적 하드 스레시딩(IHT)의 한계를 극복한다.
• 수렴 보장을 제공하는 연속 최적화 기법을 개발하여 일반적인 $̆_0$-제약 문제를 정확히 해결할 수 있도록 한다.
• 특징 선택, 이미지 복원, 임펄스 노이즈 제거와 같은 다양한 응용 분야에 적용 가능한 통합 프레임워크를 제공한다.
• 일阶 KKT 점으로의 수렴 보장을 확보한다. 이는 이전의 비볼록 희소 최적화 방법에서의 주요 이론적 격차이다.

제안 방법

• 변수 특성화를 통해 $̆_0$ 함수를 활용하여 $̆_0$-노름 최소화 문제를 등가의 이중볼록 MPEC로 재구성한다.
• 평형 제약 조건을 페널티 처리하기 위해 정확한 페널티 방법을 적용하여 MPEC를 부드럽고 비제약 조건 문제로 변환한다.
• 교차 방향 방법(ADM)을 사용하여 변수에 대해 최소화하고 이중 변수를 갱신하는 방식으로 MPEC를 해결한다.
• 비볼록 설정에서 수렴성과 해 품질을 향상시키기 위해 볼록 초기화 전략을 활용한다.
• 정확한 페널티 및 ADM 계획에 대한 철저한 분석을 통해 일阶 KKT 점으로의 수렴을 보장한다.
• 서브문제를 $O(n\log n)$ 시간 내에 해결할 수 있는 빠른 브레이크포인트 검색 알고리즘(MATLAB 구현)을 통합한다.

실험 결과

연구 질문

• RQ1 MPEC 기반 연속 최적화 프레임워크가 일반적인 희소성 제약 문제를 수렴 보장과 함께 효과적으로 해결할 수 있는가?
• RQ2 정확한 페널티 방법과 교차 방향 방법이 $̆_0$-제약 최소화 문제에서 성능 및 수렴 특성 측면에서 어떻게 비교되는가?
• RQ3 MPEC 기반 방법이 다양한 응용 분야에서 품질과 희소성 제어 측면에서 IHT 기반 기법을 능가할 수 있는가?
• RQ4 연속적 완화 기법을 사용하여 비볼록이고 $̆_0$-제약이 있는 문제에 대해 KKT 점으로의 수렴을 달성할 수 있는가?
• RQ5 제안된 프레임워크는 임펄스 노이즈 제거 및 세그먼티드 회귀와 같은 실제 문제에서 어떻게 성능을 발휘하는가?

주요 결과

• MPEC-EPM 및 MPEC-ADM 방법은 임펄스 노이즈 제거에서 최신 기술 성능을 달성하였으며, 'lenna' 이미지에서 SNR 0.96을 기록하여 CVX(0.92)와 QPM(0.94)를 모두 능가하였다.
• 90% 노이즈가 있는 'blonde' 이미지에서 MPEC-ADM는 SNR -0.45를 달성하여 NI-ADM(-0.62)와 MD-ADM(-0.52)를 모두 능가하였다.
• 특징 선택 및 세그먼티드 회귀 문제에서 제안된 방법들은 IHT 기반 기법들을 일관되게 능가하였으며, 특히 이진 및 희소 최적화 설정에서 두드러진 성능을 보였다.
• 정확한 페널티 방법과 교차 방향 방법 모두 일阶 KKT 점으로 수렴함을 보였으며, 이는 일반적인 $̆_0$-제약 문제에 대해 이러한 수렴 보장이 처음으로 이루어진 것이다.
• MPEC-ADM 방법은 'mandrill', 'jetplane', 'lake' 등 모든 테스트 데이터셋에서 경쟁 방법들보다 뛰어난 성능을 보였으며, 항상 높은 SNR 값을 기록하였다.
• MATLAB로 구현된 브레이크포인트 검색 알고리즘이 서브문제를 $O(n\log n)$ 시간 내에 해결하여 MPEC 프레임워크 내에서 효율적인 계산을 가능하게 하였다.