[논문 리뷰] Improved Complexities of Conditional Gradient-Type Methods with Applications to Robust Matrix Recovery Problems

Dan Garber, Shoham Sabach외 1명|arXiv (Cornell University)|2018. 02. 15.

Sparse and Compressive Sensing Techniques참고 문헌 11인용 수 7

한 줄 요약

이 논문은 핵자기 노름 또는 유사한 정규화를 통해 제약을 받는 두 개의 변수 블록을 포함하는 구조적 볼록 최적화 문제를 해결하기 위한 새로운 조건부 기울기 유형 알고리즘을 제안한다. 손실 함수의 강한 볼록성과 적응형 스텝 사이즈를 활용함으로써, 전체 랭크 SVD를 필요로 하지 않으면서도 개선된 수렴 속도—특히 $ O(1/t^2) $—를 달성한다. 이는 로버스트 PCA와 같은 낮은 랭크 행렬 복원 문제에서 가속화된 방법보다 더 스케일러블하다.

ABSTRACT

Motivated by robust matrix recovery problems such as Robust Principal Component Analysis, we consider a general optimization problem of minimizing a smooth and strongly convex loss function applied to the sum of two blocks of variables, where each block of variables is constrained or regularized individually. We study a Conditional Gradient-Type method which is able to leverage the special structure of the problem to obtain faster convergence rates than those attainable via standard methods, under a variety of assumptions. In particular, our method is appealing for matrix problems in which one of the blocks corresponds to a low-rank matrix since it avoids prohibitive full-rank singular value decompositions required by most standard methods. While our initial motivation comes from problems which originated in statistics, our analysis does not impose any statistical assumptions on the data.

연구 동기 및 목표

• 로버스트 PCA와 같은 로버스트 행렬 복원 문제를 해결하기 위해, 행렬을 낮은 랭크 성분과 희소 성분으로 분해하는 것을 목표로 한다.
• 가속화된 방법에서 흔히 사용되는 고비용의 전체 랭크 특이값 분해(SVD)를 피하는 일阶 최적화 방법을 개발한다.
• 손실 함수의 강한 볼록성을 활용하여, 표준 조건부 기울기 방법보다 더 빠른 수렴 속도를 달성한다.
• 낮은 랭크 블록과 희소 블록이 각각 존재하는 경우를 포함한 다양한 가정 하에 향상된 복잡도 한계를 제공한다.
• 각 반복에서 랭크-일치 SVD만을 사용함으로써 대규모 행렬 문제에 대해 효율적으로 스케일링 가능한 방법을 설계한다.

제안 방법

• 이 방법은 음의 기울기의 최상위 특이 벡터 쌍만을 포함하는 부분 문제를 반복적으로 해결하는 조건부 기울기 유형 알고리즘이며, 전체 랭크 SVD 없이도 효율적인 계산을 가능하게 한다.
• 초기 단계에서는 일정한 스텝 사이즈를 사용하고, 이후 단계에서는 감소하는 순서의 스텝 사이즈를 사용함으로써 빠른 수렴을 보장한다.
• 전체 문제 $ (X,Y) $가 강한 볼록성이 없더라도 손실 함수 $ g(\bullet) $의 강한 볼록성을 활용하여 개선된 수렴 속도를 유도한다.
• 두 단계 전략을 도입한다: 초기 단계에서는 일정한 스텝 사이즈 $ \eta_t = \alpha/(2\beta) $ 를 사용하고, 이후 단계에서는 감소하는 스텝 사이즈 $ \eta_t = 2/(t - t_0 + 2 + c_0) $ 를 사용한다.
• 수렴 분석은 잠재 함수 $ v_t $ 를 포함하는 재귀 부등식에 기반하며, 이는 유한한 반복 수 이후 $ O(1/t^2) $ 로 감소함을 보여준다.
• 이 방법은 $ \mathcal{R}_\mathcal{X}(X) $ 가 핵자기 노름(낮은 랭크 행렬용), $ \mathcal{R}_\mathcal{Y}(Y) $ 가 $ \ell_1 $-노름(희소 행렬용) 또는 기타 구조적 노름인 $ \|\cdot\|_{1,2} $ 또는 $ \|\cdot\|_{2,1} $ 인 문제에 적용된다.

실험 결과

연구 질문

• RQ1 전체 랭크 SVD 없이도 조건부 기울기 유형 알고리즘이 구조적 행렬 복원 문제에서 $ O(1/t^2) $ 수렴 속도를 달성할 수 있는가?
• RQ2 강한 볼록성이 없는 문제에서 손실 함수의 강한 볼록성을 어떻게 활용하여 수렴 속도를 향상시킬 수 있는가?
• RQ3 낮은 반복당 계산 비용을 유지하면서도 고속 수렴을 가능하게 하는 스텝 사이즈 전략은 무엇인가?
• RQ4 이 방법은 대규모 낮은 랭크 행렬 문제에서 FISTA나 네스테로프 방법과 같은 가속화된 일阶 최적화 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ5 제약 집합과 정규화자에 대한 다양한 가정 하에 이 방법의 이론적 복잡도 한계는 무엇인가?

주요 결과

• 제안된 방법은 $ O(1/t^2) $ 수렴 속도를 달성하며, FISTA나 네스테로프 최적 방법과 같은 가속화된 방법의 최고 수준의 성능을 재현한다.
• 매 반복에 랭크-일치 SVD만 요구되므로 전체 랭크 SVD를 피함으로써, 투사 기반 또는 프록시멀 방법보다 훨씬 더 스케일러블하다.
• 초기 단계에서는 일정한 스텝 사이즈 $ \eta_t = \alpha/(2\beta) $ 를 사용하고, $ t_0 = \lceil 2\beta/\alpha \ln(2C/(\alpha D_\mathcal{Y}^2)) \rceil $ 번의 반복 이후 감소하는 스텝 사이즈 시퀀스로 전환한다.
• 잠재 함수 $ v_t $ 에 대한 재귀 부등식을 통한 분석을 통해, 초기 단계 이후 수렴 속도가 $ O(1/t^2) $ 로 감소함을 증명한다.
• 이 방법의 복잡도는 $ O(1/t^2) $ 로 제한되며, 데이터에 통계적 가정 없이도 분석이 가능하므로 통계 외 일반 최적화 문제에도 적용 가능하다.
• 이 방법은 로버스트 PCA, 낮은 랭크 공분산 추정, 손상된 행/열이 있는 행렬 완성과 같은 다양한 로버스트 행렬 복원 문제에 적용 가능하다.