[논문 리뷰] Convergence of a Grassmannian Gradient Descent Algorithm for Subspace Estimation From Undersampled Data

Dejiao Zhang, Laura Balzano|arXiv (Cornell University)|2016. 10. 01.

Sparse and Compressive Sensing Techniques참고 문헌 22인용 수 9

한 줄 요약

이 논문은 스트리밍 및 부족 샘플링된 데이터로부터 부분공간 추정을 위해 그라스만만다의 기울기 하강 알고리즘을 제안하며, 전체 샘플링 조건에서는 진짜 부분공간으로의 전역 수렴을 보장하고, 부족 샘플링 조건에서는 단조적 기대 향상을 보장하는 적응형 스텝사이즈를 사용한다. 이 방법은 그라스만만다의 다양체 위에서 작동하며, 가우시안 또는 이진 샘플링 행렬을 사용하는 전체 및 압축 측정 기반 센싱 환경에서 수렴에 대한 이론적 보장을 제공한다.

ABSTRACT

Subspace learning and matrix factorization problems have great many applications in science and engineering, and efficient algorithms are critical as dataset sizes continue to grow. Many relevant problem formulations are non-convex, and in a variety of contexts it has been observed that solving the non-convex problem directly is not only efficient but reliably accurate. We discuss convergence theory for a particular method: first order incremental gradient descent constrained to the Grassmannian. The output of the algorithm is an orthonormal basis for a $d$-dimensional subspace spanned by an input streaming data matrix. We study two sampling cases: where each data vector of the streaming matrix is fully sampled, or where it is undersampled by a sampling matrix $A_t\in \mathbb{R}^{m imes n}$ with $m\ll n$. Our results cover two cases, where $A_t$ is Gaussian or a subset of rows of the identity matrix. We propose an adaptive stepsize scheme that depends only on the sampled data and algorithm outputs. We prove that with fully sampled data, the stepsize scheme maximizes the improvement of our convergence metric at each iteration, and this method converges from any random initialization to the true subspace, despite the non-convex formulation and orthogonality constraints. For the case of undersampled data, we establish monotonic expected improvement on the defined convergence metric for each iteration with high probability.

연구 동기 및 목표

• 스트리밍 데이터 조건에서 그라스만만다의 다양체 위에서 부분공간 추정을 위한 전역 수렴 가능한 증분 기울기 알고리즘을 개발한다.
• 데이터가 완전히 관측되었을 때와 가우시안 또는 항등행렬 기반 샘플링 행렬을 통한 부족 샘플링일 때 알고리즘의 수렴 보장을 수립한다.
• 관측된 데이터와 알고리즘 출력에만 의존하는 적응형 스텝사이즈 규칙을 설계하여 각 반복에서 최적의 향상을 보장한다.
• 부족 샘플링된 데이터 조건에서, 즉 실측 또는 압축 측정이 존재하는 조건에서도 수렴 지표에 대해 단조적 기대 향상을 보장한다.
• 실시간, 메모리 제약 조건이 있는 학습 응용 분야에 대한 비볼록 최적화의 다양체 위에서의 이론적 이해를 확장한다.

제안 방법

• 알고리즘은 R^n 내의 모든 d차원 부분공간을 나타내는 그라스만만다 다양체 G(n,d) 위에서 증분 기울기 하강을 수행한다.
• 스트리밍 데이터 벡터로부터 추정된 부분공간의 정규직교 기저 U_t를 반복적으로 개선하기 위해 랭크-일치 업데이트를 사용한다.
• 현재 데이터와 알고리즘 상태만을 사용하여 각 반복에서 수렴 지표의 향상을 최대화하는 적응형 스텝사이즈 규칙을 도입한다.
• 부족 샘플링된 데이터의 경우, 관측값 xt = At vt 형태로 표현되며, At는 샘플링 행렬(가우시안 또는 행 부분집합을 취한 항등행렬)이며, 알고리즘은 부분 측정값에 기반해 업데이트한다.
• 이론적 분석은 잔차 및 부분공간 각도 오차의 경계를 도출하기 위해 농도 불등식과 비일관성 매개변수를 활용한다.
• 레마 및 증명은 McDiarmid의 부등식과 행렬 편향 경계와 같은 도구를 사용하여 고확률 수렴 행동을 확립한다.

실험 결과

연구 질문

• RQ1 그라스만만다 위에서 증분 기울기 하강이 전체 샘플링 조건에서 임의의 초기화로부터 진짜 부분공간으로의 전역 수렴을 달성할 수 있는가?
• RQ2 제안된 적응형 스텝사이즈 규칙이 전체 샘플링 조건에서 각 반복에서 수렴 지표를 최적으로 향상시키는가?
• RQ3 압축 측정 및 실측이 존재하는 경우, 부족 샘플링된 데이터 조건에서 수렴 지표에 대해 각 반복에서 단조적 기대 향상을 보장할 수 있는가?
• RQ4 비일관성 매개변수와 샘플링 행렬의 구조(가우시안 대비 행 부분집합)가 수렴 속도와 오차 경계에 어떤 영향을 미치는가?
• RQ5 부분 관측 또는 압축 관측이 존재하는 스트리밍 및 온라인 부분공간 추정에 대해 어떤 이론적 보장을 확립할 수 있는가?

주요 결과

• 완전 샘플링된 데이터 조건에서, 알고리즘은 임의의 무작위 초기화로부터 진짜 부분공간으로 전역 수렴하며, 적응형 스텝사이즈는 각 단계에서 수렴 지표의 향상을 최대화한다.
• 부족 샘플링된 데이터 조건에서, 알고리즘은 고확률로 반복 과정 동안 수렴 지표에 대해 단조적 기대 향상을 보장한다.
• 이론적 보장은 두 가지 샘플링 영역에서 성립한다: i.i.d. 가우시안 샘플링 행렬과 항등행렬의 행 부분집합을 취한 샘플링 행렬(실측).
• 수렴 분석은 비일관성 매개변수 µ(U) 및 µ(v⊥)에 의존하며, McDiarmid의 부등식과 행렬 농도를 활용해 고확률 경계를 도출한다.
• 적응형 스텝사이즈 규칙은 데이터 기반이며, 진짜 부분공간이나 노이즈 수준에 대한 사전 지식이 필요하지 않다.
• 기존 연구에 비해, 정규직교 제약 조건과 완전하지 않은 관측이 존재하는 스트리밍 비볼록 부분공간 추정에 대해 전역 수렴 보장을 제공함으로써 성능을 향상시켰다.