[논문 리뷰] Proximal Gradient Method for Nonsmooth Optimization over the Stiefel Manifold

Shixiang Chen, Shiqian Ma외 2명|arXiv (Cornell University)|2018. 11. 02.

Sparse and Compressive Sensing Techniques참고 문헌 90인용 수 6

한 줄 요약

이 논문은 스토펠 만류상에서 비스무스 최적화를 위한 재취소 기반 프락시멀 그래디언트 방법(ManPG)을 제안한다. 이 방법은 탄성 공간에서의 프락시멀 그래디언트 스텝과 리만형 재취소를 결합한다. 전역 수렴을 확립하고 반복 복잡도를 분석하여, 희소 주성분 분석 및 압축 모드 문제에서 기존 방법보다 뛰어난 성능을 보인다.

ABSTRACT

We consider optimization problems over the Stiefel manifold whose objective function is the summation of a smooth function and a nonsmooth function. Existing methods for solving this kind of problems can be classified into three classes. Algorithms in the first class rely on information of the subgradients of the objective function and thus tend to converge slowly in practice. Algorithms in the second class are proximal point algorithms, which involve subproblems that can be as difficult as the original problem. Algorithms in the third class are based on operator-splitting techniques, but they usually lack rigorous convergence guarantees. In this paper, we propose a retraction-based proximal gradient method for solving this class of problems. We prove that the proposed method globally converges to a stationary point. Iteration complexity for obtaining an $ε$-stationary solution is also analyzed. Numerical results on solving sparse PCA and compressed modes problems are reported to demonstrate the advantages of the proposed method.

연구 동기 및 목표

• 스토펠 만료상에서 비스무스 비볼록 최적화를 위한 효율적이고 전역 수렴하는 알고리즘이 부족한 문제를 해결한다.
• 서브기울기 기반 방법(느린 수렴), 프락시멀 포인트 방법(하위문제 해결이 어려움), 또는 연산자 분할 방법(약한 수렴 보장)에 의존하는 기존 방법의 한계를 극복한다.
• 탄성 공간에서의 프락시멀 그래디언트 정보를 활용하면서도, 재취소를 통해 만료 제약 조건을 유지하는 방법을 개발한다.
• ϵ-정류점 해를 찾기 위한 전역 수렴성과 반복 복잡도 한계를 확립한다.
• 특히 높은 질량 해(r > 1)를 가진 경우, 희소 주성분 분석 및 압축 모드 문제에서 실용적 효율성과 강건성을 입증한다.

제안 방법

• 스토펠 만료상의 탄성 공간에서 프락시멀 그래디언트 스텝을 계산하는 리만형 프락시멀 그래디언트 방법(ManPG)을 제안한다.
• 타당성을 유지하기 위해 재취소 기반 업데이트를 사용하여 각 단계 후에도 반복값이 스토펠 만료상에 머무르도록 보장한다.
• 각 반복에서 목적 함수의 충분한 감소를 확보하기 위해 선색색 전략을 도입한다.
• 내림방향을 계산하기 위한 볼록 하위문제를 효율적으로 해결하기 위해 정규화된 반연속 뉴턴 방법을 활용한다.
• ℓ₁ 노름의 프락시멀 매핑의 반연속성 특성을 활용하여 하위문제의 해를 신속하고 강건하게 확보한다.
• 표준 가정 하에 수렴성을 분석한다: 부드러운 부분의 리프시츠 연속 기울기와 볼록, 리프시츠 연속, 프락시멀로 접근 가능한 비스무스 부분.

실험 결과

연구 질문

• RQ1 스토펠 만료상에서 프락시멀 그래디언트 방법이 비스무스 비볼록 문제에 대해 잘 정의된 내림방향을 갖는 전역 수렴을 달성할 수 있는가?
• RQ2 제안된 방법이 ϵ-정류점 해를 찾기 위해 기존 접근법보다 더 낮은 반복 복잡도를 달성하는가?
• RQ3 희소 주성분 분석 및 r > 1인 압축 모드 문제와 같이 도전적인 문제에서 실용적으로 어떻게 성능을 발휘하는가?
• RQ4 SOC 및 PAMAL과 같은 기존 솔버에 비해 매개변수 선택에 대해 얼마나 강건한가?
• RQ5 프락시멀 매핑이 조각별로 스무스할 경우, 내림방향을 계산하기 위한 하위문제가 반연속 뉴턴 방법을 통해 효율적으로 해결될 수 있는가?

주요 결과

• 제안된 ManPG 방법은 스토펠 만료상에서 비스무스 최적화 문제의 정류점으로 전역 수렴한다.
• 표준 가정 하에 ϵ-정류점 해를 구하기 위한 반복 복잡도가 O(1/ε²)임을 입증한다.
• r > 1인 희소 주성분 분석 문제에서, ManPG는 CPU 시간 측면에서 SOC 및 PAMAL보다 뚜렷이 뛰어난 성능을 보이며 동일한 해 품질을 달성한다.
• ManPG는 SOC 및 PAMAL보다 매개변수 조정에 덜 민감하여 실용적으로 더 강건함을 입증한다.
• 압축 모드 문제에 대한 수치 결과는 ManPG가 밀도가 낮고 직교적인 해를 효율적으로 찾을 수 있음을 보여준다.
• 하위문제를 해결하기 위해 정규화된 반연속 뉴턴 방법을 사용함으로써 내림방향 계산이 신속하고 신뢰성 있게 이루어져 전체 효율성이 향상된다.