[논문 리뷰] A globally and linearly convergent PGM for zero-norm regularized quadratic optimization with sphere constraint

Yuqia Wu, Shaohua Pan외 1명|arXiv (Cornell University)|2018. 11. 11.

Sparse and Compressive Sensing Techniques참고 문헌 14인용 수 1

한 줄 요약

이 논문은 구면 제약 조건 하에서 0-노름 정규화된 이차 최적화 문제에 대해 전역적이고 선형 수렴성을 보장하는 프락시멀 그라디언트 방법(PGM)을 제안한다. 이는 지수 1/2를 가진 Kurdyka-Łojasiewicz(KL) 성질에 기반한다. 이 방법은 희소 주성분 분석(sparse PCA)에서 희소 해로 수렴함을 보장하며, 시뮬레이션 및 실세계 데이터를 통한 수치적 검증을 통해 검증되었다.

ABSTRACT

This paper is concerned with the zero-norm regularized quadratic optimization with a sphere constraint, which has an important application in sparse eigenvalue problems. For this class of nonconvex and nonsmooth optimization problems, we establish the KL property of exponent 1/2 for its extended-valued objective function and develop a globally and linearly convergent proximal gradient method (PGM). Numerical experiments are included for sparse principal component analysis (PCA) with synthetic and real data to confirm the obtained theoretic results.

연구 동기 및 목표

• 비볼록이고 비연속적인 0-노름 정규화된 이차 최적화 문제에 대해 구면 제약 조건을 갖는 문제를 해결하는 데 도전한다.
• 이 문제 유형의 확장된 실수 목적 함수에 대해 지수 1/2를 가진 Kurdyka-Łojasiewicz(KL) 성질을 확립한다.
• 전역 수렴과 선형 수렴 속도를 보장하는 프락시멀 그라디언트 방법(PGM)을 개발한다.
• 이 방법을 희소 고유값 문제, 특히 희소 주성분 분석(sparse PCA)에 적용한다.

제안 방법

• 이론적 분석을 통해 0-노름 정규화 문제의 확장된 실수 목적 함수가 지수 1/2를 가진 KL 성질을 만족함을 증명한다.
• 0-노름 항의 프락시멀 연산자와 구면 제약 조건에 기반한 프락시멀 그라디언트 방법(PGM)을 설계한다.
• PGM은 이차 항과 0-노름 정규화를 포함하는 보조 문제를 반복적으로 해결함으로써 해를 갱신한다.
• 수렴 분석은 KL 성질을 활용하여 전역 수렴과 선형 수렴 속도를 확립한다.
• 단위 노름 해를 보장하기 위해 구면 제약 조건을 포함시켜 PGM을 희소 PCA에 적응시킨다.
• 수치적 구현은 프락시멀 갱신에서 0-노름의 근사화를 다루기 위해 소프트 스레셔닝 유사 단계를 사용한다.

실험 결과

연구 질문

• RQ1 구면 제약 조건이 있는 0-노름 정규화된 이차 최적화 문제는 지수 1/2를 가진 Kurdyka-Łojasiewicz(KL) 성질을 만족하는가?
• RQ2 이 비볼록이고 비연속적인 문제에 대해 전역 수렴과 선형 수렴 속도를 보장하는 프락시멀 그라디언트 방법을 설계할 수 있는가?
• RQ3 제안된 PGM은 시뮬레이션 및 실세계 데이터를 활용한 희소 PCA 작업에서 실제로 어떻게 성능을 발휘하는가?
• RQ4 제안된 방법의 선형 수렴 속도에 대한 이론적 근거는 무엇인가?

주요 결과

• 구면 제약 조건이 있는 0-노름 정규화된 이차 최적화 문제의 확장된 실수 목적 함수는 지수 1/2를 가진 KL 성질을 만족한다.
• 제안된 프락시멀 그라디언트 방법(PGM)은 확립된 KL 조건 하에서 전역 수렴과 선형 수렴 속도를 달성한다.
• 시뮬레이션 및 실세계 데이터를 활용한 수치 실험은 선형 수렴 속도와 희소 PCA에서의 방법의 효과성을 확인한다.
• 이 방법은 희소 주성분을 성공적으로 식별하여 차원 축소와 특징 선택 분야에서 실용적 유용성을 보여준다.