[논문 리뷰] Manifold Proximal Point Algorithms for Dual Principal Component Pursuit and Orthogonal Dictionary Learning

Shixiang Chen, Zengde Deng외 2명|arXiv (Cornell University)|2020. 05. 05.

Sparse and Compressive Sensing Techniques참고 문헌 38인용 수 12

한 줄 요약

이 논문은 정규직교 사전 학습(ODL)과 강건한 부분공간 복원(RSR)에서 발생하는, 구 위에서 선형 사상의 ℓ1 노름을 최소화하는 비볼록, 비미분 가능 문제를 해결하기 위해 다양체 프락시멀 포인트 알고리즘(ManPPA)과 그 확률적 변종(StManPPA)을 제안한다. 구의 다양체 구조를 활용함으로써, ManPPA는 날카로운 경우에 대해 전역적인 하향선형 수렴과 국소적인 2차 수렴을 달성하며, StManPPA는 증명 가능한 하향선형 수렴을 보장하면서 대규모 계산을 가능하게 하여 이론적·실제로 기존의 서브기울기 방법을 능가한다.

ABSTRACT

We consider the problem of maximizing the $\ell_1$ norm of a linear map over the sphere, which arises in various machine learning applications such as orthogonal dictionary learning (ODL) and robust subspace recovery (RSR). The problem is numerically challenging due to its nonsmooth objective and nonconvex constraint, and its algorithmic aspects have not been well explored. In this paper, we show how the manifold structure of the sphere can be exploited to design fast algorithms for tackling this problem. Specifically, our contribution is threefold. First, we present a manifold proximal point algorithm (ManPPA) for the problem and show that it converges at a sublinear rate. Furthermore, we show that ManPPA can achieve a quadratic convergence rate when applied to the ODL and RSR problems. Second, we propose a stochastic variant of ManPPA called StManPPA, which is well suited for large-scale computation, and establish its sublinear convergence rate. Both ManPPA and StManPPA have provably faster convergence rates than existing subgradient-type methods. Third, using ManPPA as a building block, we propose a new approach to solving a matrix analog of the problem, in which the sphere is replaced by the Stiefel manifold. The results from our extensive numerical experiments on the ODL and RSR problems demonstrate the efficiency and efficacy of our proposed methods.

연구 동기 및 목표

• 정규직교 사전 학습(ODL)과 강건한 부분공간 복원(RSR)에서 발생하는, 구 위에서 선형 사상의 ℓ1 노름을 최소화하는 문제의 수치적 도전 과제를 해결하기 위함.
• 이 비볼록, 비미분 가능 최적화 문제를 더 빠르고 증명 가능한 수렴성을 갖는 알고리즘으로 설계하기 위해 구의 다양체 구조를 활용하기 위함.
• ManPPA 내의 하위문제 해결을 위한 효율적인 초과수렴 속도를 갖는, 비정확한 증가된 라그랑주 승수법(based on semismooth Newton)을 개발하기 위함.
• 대규모 응용을 위해 수렴 보장을 유지하면서도 대규모 계산이 가능한 확률적 변종인 StManPPA를 제안하기 위함.
• 더 넓은 적용 가능성을 위해 스티펠 다양체를 사용한 매트릭스 유사체계로 프레임워크를 확장하기 위함.

제안 방법

• 구 위에서 반복적으로 하위문제를 해결하는 다각체 프락시멀 포인트 알고리즘인 ManPPA를 제안하며, 이는 2차 페널티를 사용한 프락시멀 최소화 방식을 활용한다.
• ManPPA 내 하위문제 해결을 위해 비정확한 증가된 라그랑주 승수법(inexact ALM)를 도입하며, 이는 비연속 뉴턴 방법을 기반으로 하여 渐진적 초초등수렴을 달성한다.
• 대규모 문제에 대응하기 위해 ℓ1 목표 함수의 무작위 샘플링을 활용하는 ManPPA의 확률적 변종인 StManPPA를 개발한다.
• 다양체 특화 프락시멀 매핑을 사용하는 리만 프락시멀 포인트 프레임워크를 적용하여 비볼록적인 구 제약 조건을 다룬다.
• 최적화 과정에서 반복값이 항상 구 위에 유지되도록 리만 서브기울기와 탄젠트 공간 사영을 활용한다.
• 비미분 가능 목표 함수 하에서 수렴 보장을 유지하기 위해 다양체 기반 스무딩 및 선형 탐색 전략을 적용한다.

실험 결과

연구 질문

• RQ1 구의 다양체 구조를 활용하여 구 위에서 ℓ1 최소화를 위한 더 빠르고 증명 가능한 수렴성을 갖는 알고리즘을 설계할 수 있는가?
• RQ2 ManPPA는 ODL 및 RSR 문제에서 기존의 서브기울기 유형 방법보다 더 뛰어난 수렴 속도를 달성하는가?
• RQ3 하위문제 해결을 위해 비연속 뉴턴 기반 비정확한 증가된 라그랑주 승수법을 초초등수렴 성질을 갖도록 설계할 수 있는가?
• RQ4 수렴 보장을 유지하면서도 대규모 계산을 가능하게 하는 ManPPA의 확률적 변종을 개발할 수 있는가?
• RQ5 스티펠 다양체를 사용한 매트릭스 유사체계로 프레임워크를 확장하여 더 넓은 응용 분야인 사전 학습 및 부분공간 복원에 적용할 수 있는가?

주요 결과

• ManPPA는 전역적으로 하향선형 수렴 속도를 확보하며, 날카로운 경우에 국소적으로 2차 수렴을 달성한다.
• 비연속 뉴턴 방법을 기반으로 한 비정확한 ALM은 ManPPA 내 하위문제 해결에서 渐진적 초초등수렴을 달성한다.
• StManPPA는 증명 가능한 하향선형 수렴 속도를 확보하며, 대규모 문제에 매우 적합하다.
• ODL 및 RSR에 대한 수치 실험 결과, ManPPA와 StManPPA는 기존의 서브기울기 유형 방법보다 수렴 속도와 해의 품질 측면에서 뛰어나게 성능을 발휘한다.
• 스티펠 다양체를 사용한 매트릭스 유사체계를 위한 제안된 방법은 고랭크 문제에 대한 프레임워크 확장을 성공적으로 수행하였으며, 실증적으로도 성공을 거두었다.