[논문 리뷰] Finding Low-rank Solutions to Matrix Problems, Efficiently and Provably.

Dohyung Park, Anastasios Kyrillidis외 2명|arXiv (Cornell University)|2016. 06. 10.

Sparse and Compressive Sensing Techniques참고 문헌 91인용 수 32

한 줄 요약

이 논문은 저랭크 행렬 위에서 볼록 함수를 효율적으로 최소화하기 위해 행렬을 U와 V 성분으로 분해하는 방식으로, Bi-Factored Gradient Descent (BFGD)라는 일阶 최적화 알고리즘을 제안한다. 부드러운 함수에 대해 국소적 하위선형 수렴을 확립하고, 강한 볼록성 조건 하에서는 선형 수렴을 보이며, 실용적인 성능을 보장하는 효과적인 초기화 기법을 제공한다.

ABSTRACT

A rank-r matrix X \in R^{m x n} can be written as a product UV', where U \in R^{m x r} and V \in R^{n x r}. One could exploit this observation in optimization: e.g., consider the minimization of a convex function f(X) over rank-r matrices, where the scaffold of rank-r matrices is modeled via the factorization in U and V variables. Such heuristic has been widely used before for specific problem instances, where the solution sought is (approximately) low-rank. Though such parameterization reduces the number of variables and is more efficient in computational speed and memory requirement (of particular interest is the case r << min{m, n}), it comes at a cost: f(UV') becomes a non-convex function w.r.t. U and V. In this paper, we study such parameterization in optimization of generic convex f and focus on first-order, gradient descent algorithmic solutions. We propose an algorithm we call the Bi-Factored Gradient Descent (BFGD) algorithm, an efficient first-order method that operates on the U, V factors. We show that when f is smooth, BFGD has local sublinear convergence, and linear convergence when f is both smooth and strongly convex. Moreover, for several key applications, we provide simple and efficient initialization schemes that provide approximate solutions good enough for the above convergence results to hold.

연구 동기 및 목표

• 저랭크 행렬 위에서 볼록 함수를 행렬 분해를 통한 비볼록 매개변수화 방식으로 최적화하는 데 도전하는 것.
• 계산 비용과 메모리 비용을 줄이기 위해 직접적으로 저랭크 인자 U와 V 위에서 작동하는 효율적인 일계 알고리즘을 개발하는 것.
• 제안된 BFGD 프레임워크 하에서, 부드러운 함수에 대해 하위선형 수렴, 강한 볼록 함수에 대해 선형 수렴을 보장하는 이론적 수렴 보장을 확립하는 것.
• 핵심 응용 분야에서 실질적으로 수렴 성질이 유지되도록 보장하는 간단하고 효과적인 초기화 기법을 제공하는 것.

제안 방법

• 행렬 분해 X = UV^T의 U와 V 인자들을 번갈아 가며 갱신하는 그래디언트 디센트 알고리즘인 Bi-Factored Gradient Descent (BFGD)를 제안한다.
• 일계 정보를 활용하여 목적 함수를 반복적으로 최소화하기 위해 비볼록 매개변수화 f(UV^T)를 운영한다.
• 내림폭과 수렴을 보장하기 위해 f에 대한 부드러움 조건을 도입하며, 분해된 매개변수 공간 분석을 통해 수렴 속도를 유도한다.
• 응용 분야에 특화된 초기화 전략을 도입하여, 수렴 보장이 유효한 영역 내에서 근사해를 생성한다.
• 분해된 변수 관점에서 수렴을 분석하여, 표준 볼록성 및 부드러움 조건 하에서 저랭크 구조를 가진 해로 수렴함을 보여준다.
• 분해된 문제의 구조를 활용하여 변수 수를 O(mn)에서 O((m+n)r)로 감소시켜, r ≪ min{m,n}일 경우 계산 효율성을 크게 향상시킨다.

실험 결과

연구 질문

• RQ1 저랭크 행렬 분해의 U와 V 인자 위에서 작동하는 일계 방법이 일반 볼록 함수에 대해 증명 가능한 수렴을 달성할 수 있는가?
• RQ2 목적 함수가 부드럽거나 강한 볼록일 경우, 이러한 방법에 대해 확립할 수 있는 수렴 속도는 무엇인가?
• RQ3 수렴이 보장되는 영역에서 시작할 수 있도록 효과적인 초기화를 어떻게 설계할 수 있는가?
• RQ4 BFGD 알고리즘이 이론적 성능 보장을 유지하면서도 계산 효율성을 유지하는 정도는 어느 정도인가?
• RQ5 저랭크 행렬 최적화 문제에 적용했을 때 BFGD의 수렴 성질은 기존 방법과 비교해 어떻게 다른가?

주요 결과

• 목적 함수 f가 부드럽다면 BFGD는 국소적 하위선형 수렴 속도를 확보하여 반복 과정에서 해에 점차 접근함을 보장한다.
• f가 부드럽고 동시에 강한 볼록일 경우 BFGD는 선형 수렴을 보이며, 오차가 각 반복마다 지수적으로 감소함을 의미한다.
• 제안된 초기화 기법들은 해의 다양체에 충분히 가까운 시작점을 생성하여 실질적으로 수렴 보장이 유지됨을 보장한다.
• O((m+n)r)개의 변수 위에서 작동함으로써 계산 및 메모리 효율성을 유지함으로써, 낮은 랭크 해를 가진 대규모 문제에 적합하다.
• 이론적 수렴 결과는 특정 문제 사례에 국한되지 않고, 임의의 볼록 함수 f에 대해 일반적으로 적용 가능하다.
• 기존의 저랭크 최적화 히우리스틱 기법들이 이론적 보장을 갖지 못하는 데 비해, 이 방법은 증명 가능하고 효율적인 대안을 제공한다.