[논문 리뷰] A Penalty-free Infeasible Approach for a Class of Nonsmooth Optimization Problems over the Stiefel Manifold

Nachuan Xiao, Xin Liu외 1명|arXiv (Cornell University)|2021. 03. 05.

Sparse and Compressive Sensing Techniques인용 수 4

한 줄 요약

이 논문은 스토펠 만에 있는 비스무스 문제를 위한 페널티 자유 비가능 최적화 방법인 순차적 선형화된 프록시멀 그래디언트(Sequential Linearized Proximal Gradient, SLPG)를 제안한다. SLPG는 탄성 단계(근사적, 정규화 없음)와 법선 단계(테일러 근사에 의한 타당성 향상)를 번갈아가며, 페널티 파라미터를 회피하고 스무스 및 ℓ₂,₁-정규화된 문제에 대해 높은 효율성과 전역 수렴성을 달성한다.

ABSTRACT

Transforming into an exact penalty function model with convex compact constraints yields efficient infeasible approaches for optimization problems with orthogonality constraints. For smooth and $\ell_{2,1}$-norm regularized cases, these infeasible approaches adopt simple and orthonormalization-free updating scheme and show their high efficiency in the test examples. However, to avoid orthonormalization while enforcing the feasibility of the final solution, these infeasible approaches introduce a quadratic penalty term, where an inappropriate penalty parameter can lead to numerical inefficiency. Inspired by penalty-free approaches for smooth optimization problems, we proposed a proximal first-order algorithm for a class of optimization problems with orthogonality constraints and nonsmooth regularization term. The consequent algorithm, named sequential linearized proximal gradient method (SLPG), alternatively takes tangential steps and normal steps to improve the optimality and feasibility respectively. In SLPG, the orthonormalization process is invoked only once at the last step if high precision in feasibility is needed, showing that main iterations in SLPG are orthonormalization-free. Besides, both the tangential steps and normal steps do not involve the penalty parameter, and thus SLPG is penalty-free and avoids the inefficiency by inappropriate penalty parameter. We analyze the global convergence properties of SLPG where the tangential steps are inexactly computed. By inexactly computing tangential steps, for smooth cases and $\ell_{2,1}$-norm regularized cases, SLPG has a closed-form updating scheme, which leads to its cheap tangential steps. Numerical experiments illustrate the numerical advantages of SLPG when compared with existing first-order methods.

연구 동기 및 목표

• 페널티 파라미터 선택에 민감한 페널티 기반 비가능 방법의 비효율성 문제를 해결하기 위해, 비스무스 최적화 문제에서의 페널티 기반 비가능 방법의 비효율성 문제를 해결한다.
• 주 반복 과정에서 정규화를 피하면서도 최종 타당성을 보장하는 확장 가능한 비가능 프레임워크를 개발한다.
• 비스무스 정규화와 직교 제약 조건을 갖는 복합 최적화 문제의 클래스에 대해 전역 수렴성을 확립한다.
• 고차원 데이터를 갖는 문제들, 예를 들어 희소 주성분 분석과 코른-샤움 에너지 최소화 문제에 대해 계산적으로 효율적인 접근법을 제공한다.
• 정규화 없이 반복를 유지하면서도 폴라 분해에 영감을 받은 법선 단계를 통해 타당성을 유지한다.

제안 방법

• 최적성과 타당성 향상을 별도로 향상시키기 위해 탄성 단계와 법선 단계를 번갈아 사용하는 순차적 선형화된 프록시멀 그래디언트(SLPG) 방법을 제안한다.
• 타당성이 있는 경우 탄성 공간 하위문제로 줄어드는 애핀 부분공간에서 선형화된 프록시멀 하위문제를 사용하여 탄성 단계를 계산한다.
• 목적이 스무스하거나 ℓ₂,₁-정규화된 경우, 고정점 반복 또는 직접적인 폐형 해를 사용하여 탄성 단계를 계산함으로써 저비용 계산을 가능하게 한다.
• 폴라 분해의 일阶 테일러 전개에서 유도된 법선 단계를 통해 정규화 과정을 근사한다.
• 최종 반복에서만 한 번 정규화를 수행하여 고정밀도 타당성을 확보함으로써 주 반복 과정은 정규화 없이 유지한다.
• 최적성과 타당성 향상을 분리함으로써 페널티 파라미터를 완전히 제거하여, 나쁜 페널티 파라미터 선택으로 인한 수치적 불안정성 문제를 방지한다.

실험 결과

연구 질문

• RQ1 페널티 자유 비가능 방법이 스토펠 만에 있는 비스무스 최적화 문제에서 전역 수렴성을 달성할 수 있는가?
• RQ2 페널티 항목에 의존하지 않고 최적성과 타당성을 별도로 향상시키기 위해 탄성 단계와 법선 단계를 어떻게 설계할 수 있는가?
• RQ3 대규모 문제에서 기존의 일阶 방법과 비교할 때, 정규화 없이 반복하는 방법의 계산 효율성은 어떠한가?
• RQ4 스무스 및 ℓ₂,₁-정규화된 경우에 대해 탄성 하위문제의 폐형 해 또는 저비용 해를 유도할 수 있는가?
• RQ5 제안된 방법이 희소 주성분 분석 및 코른-샤움 에너지 최소화와 같은 다양한 응용 분야에서 강력한 성능을 유지를 하는가?

주요 결과

• SLPG는 문제 구조에 대한 통합 가정 하에 탄성 단계가 근사적으로 계산되더라도 전역 수렴성을 달성한다.
• 스무스 및 ℓ₂,₁-정규화된 경우, SLPG는 폐형 해 또는 계산적으로 저비용인 탄성 업데이트를 제공하여 효율적인 반복를 가능하게 한다.
• 수치 실험 결과, 다양한 테스트 케이스에서 기존 일阶 방법들(예: ManOptQR, PenCF, PCAL, OptM)보다 CPU 시간과 반복 횟수 측면에서 SLPG가 뛰어난 성능을 보였다.
• 알라닌 데이터셋(n=12671, p=18)에서 SLPG는 73회의 반복와 21.27초가 소요되었고, PenCF(83회, 24.10초)와 PCAL(97회, 30.56초)를 모두 앞섰다.
• 대규모 펜타센 데이터셋(n=44791, p=51)에서 SLPG는 113회의 반복와 308.88초가 소요되었으며, ManOptQR(1000회, 425.62초)보다 빠르게 작동했고, PenCF(109회, 301.13초)와 유사한 성능을 보였다.
• 모든 테스트 케이스에서 SLPG는 타당성 위반을 1e-15 이하로 유지하였으며, 최종 반복에서 한 번의 정규화를 통해 고정밀도 타당성을 확보하였다.