[논문 리뷰] Fast Generalized Conditional Gradient Method with Applications to Matrix Recovery Problems.

Dan Garber, Shoham Sabach외 1명|arXiv (Cornell University)|2018. 02. 15.

Sparse and Compressive Sensing Techniques인용 수 4

한 줄 요약

이 논문은 저랭크 및 희소 성분을 포함하는 행렬 복원 문제를 위한 새로운 일반화된 조건부 기울기 방법을 제안한다. 블록 단위의 구조를 활용하여 전체 랭크 SVD를 피함으로써 계산 비용이 높은 SVD를 방지한다. 미세한 가정 하에 기존 방법보다 더 빠른 수렴 속도를 달성하며, 특히 통계적 데이터 가정이 필요 없는 강건한 PCA 및 유사 문제에 매우 유용하다.

ABSTRACT

Motivated by matrix recovery problems such as Robust Principal Component Analysis, we consider a general optimization problem of minimizing a smooth and strongly convex loss applied to the sum of two blocks of variables, where each block of variables is constrained or regularized individually. We present a novel Generalized Conditional Gradient method which is able to leverage the special structure of the problem to obtain faster convergence rates than those attainable via standard methods, under a variety of interesting assumptions. In particular, our method is appealing for matrix problems in which one of the blocks corresponds to a low-rank matrix and avoiding prohibitive full-rank singular value decompositions, which are required by most standard methods, is most desirable. Importantly, while our initial motivation comes from problems which originated in statistics, our analysis does not impose any statistical assumptions on the data.

연구 동기 및 목표

• 계산 효율성을 향상시켜 로버스트 주성분 분석과 같은 행렬 복원 문제를 해결하기 위해.
• 대규모 환경에서 계산 비용이 매우 높은 전체 랭크 특이값 분해를 피할 수 있는 방법을 개발하기 위해.
• 최적화 문제의 블록 구조적 특성을 활용하여 표준 최적화 방법보다 더 빠른 수렴 속도를 달성하기 위해.
• 데이터에 대한 통계적 가정을 제거함으로써 통계 모델을 초월한 적용 가능성을 확보하기 위해.
• 구조화된 행렬 분해에 대해 부드럽고 강력한 볼록 손실을 최소화하기 위한 확장 가능하고 효율적인 알고리즘을 제공하기 위해.

제안 방법

• 최적화 문제를 두 개의 변수 블록에 대해 부드럽고 강력한 볼록 손실을 최소화하는 방식으로 설정하며, 각 블록은 개별 제약 조건 또는 정규화를 가진다.
• 전체 SVD를 피하기 위해 각 블록에서 부분 문제를 풀어 반복적으로 변수를 갱신하는 일반화된 조건부 기울기 접근을 사용한다.
• 하나의 블록에서 저랭크 구조를 활용하여 랭크 제한된 갱신을 사용함으로써 반복 계산 비용을 감소시킨다.
• 손실 함수의 부드러움과 강력한 볼록성 등의 미약한 가정 하에 수렴 보장을 유지한다.
• 각 단계에서 목적 함수의 충분한 감소를 보장하기 위해 선 탐색 또는 백트랙킹 전략을 사용한다.
• 이론적 분석을 통해 문제의 특수한 구조를 활용함으로써 표준 조건부 기울기 방법보다 더 빠른 수렴 속도를 달성함을 보여준다.

실험 결과

연구 질문

• RQ1 저랭크 및 희소 성분을 포함하는 행렬 복원 문제에 대해 조건부 기울기 방법을 어떻게 조정하여 전체 랭크 SVD를 피할 수 있는가?
• RQ2 행렬 복원 문제의 블록 구조적 최적화 문제를 활용할 경우 어떤 수렴 속도 향상 효과를 기대할 수 있는가?
• RQ3 데이터에 대한 통계적 가정 없이 이 방법은 어떻게 성능을 유지하는가?
• RQ4 대규모 환경에서 반복 계산 비용을 줄이면서도 빠른 수렴 속도를 유지할 수 있는가?
• RQ5 부드럽고 강력한 볼록 손실 하에서 이 일반화된 조건부 기울기 접근에 대해 어떤 이론적 보장을 확보할 수 있는가?

주요 결과

• 제안된 방법은 문제의 블록 구조적 특성을 활용함으로써 표준 조건부 기울기 방법보다 더 빠른 수렴 속도를 달성한다.
• 전체 랭크 특이값 분해를 피함으로써 저랭크 행렬 복원 작업에서 반복 계산 비용을 크게 감소시킨다.
• 손실 함수의 부드러움과 강력한 볼록성 가정 하에 수렴 보장을 유지하며, 데이터에 대한 통계적 가정이 필요하지 않다.
• 이론적 분석을 통해 동일 조건 하에서 기준 방법보다 이 방법의 수렴 속도가 뛰어남을 확인한다.
• 하나의 성분이 저랭크이고 다른 하나가 희소인 로버스트 PCA와 같은 문제에서 특히 효과적이다.
• 실험 결과는 표준 방법 대비 더 뛰어난 확장성과 효율성을 행렬 복원 벤치마크에서 입증한다.