[논문 리뷰] Sketchy Decisions: Convex Low-Rank Matrix Optimization with Optimal Storage

Alp Yurtsever, Madeleine Udell외 2명|arXiv (Cornell University)|2017. 02. 22.

Sparse and Compressive Sensing Techniques인용 수 61

한 줄 요약

본 논문은 전체 행렬을 저장하지 않고도 근사 최적의 저랭크 해를 계산하기 위해 작고 무작위 스케치를 사용하는 저장 최적의 볼록 저랭크 행렬 최적화 알고리즘인 SketchyCGM을 제시한다.

ABSTRACT

This paper concerns a fundamental class of convex matrix optimization problems. It presents the first algorithm that uses optimal storage and provably computes a low-rank approximation of a solution. In particular, when all solutions have low rank, the algorithm converges to a solution. This algorithm, SketchyCGM, modifies a standard convex optimization scheme, the conditional gradient method, to store only a small randomized sketch of the matrix variable. After the optimization terminates, the algorithm extracts a low-rank approximation of the solution from the sketch. In contrast to nonconvex heuristics, the guarantees for SketchyCGM do not rely on statistical models for the problem data. Numerical work demonstrates the benefits of SketchyCGM over heuristics.

연구 동기 및 목표

• 저장이 주요 병목 현상인 일련의 볼록 저랭크 행렬 최적화 문제를 동기 부여하고 형식화한다.
• 해의 저랭크 근사를 증명 가능한 저장 최적의 알고리즘을 도입한다.
• 전체 결정 변수(X)를 저장하지 않도록 무작위 스케칭 기법을 개발하고 통합한다.
• CGM 유사 조건 하에서 이 방법이 저랭크 해로 수렴한다는 이론적 보장과 수치적 증거를 제공한다.

제안 방법

• 메모리 효율적 설정으로 조건부 경사법(CGM)을 확장하여 이중 변수 z = A X와 X의 작은 무작위 스케치를 유지한다.
• X를 만들지 않고도 z와 스케치를 업데이트하기 위해 A* (∇f(A X))를 통해 MaxSingVec로부터 도출된 rank-1 업데이트 방향을 사용한다.
• Ω와 Ψ가 임의 행렬인 두 스케치 Y = X Ω와 W = Ψ X를 유지하여 최적화 후 rank-r 근사를 재구성할 수 있게 한다.
• 스케치를 이용해 Q = orth(Y)와 B = (Ψ Q)† W를 사용하여 rank-r 행렬 Ŷ를 재구성하고, Ŵ = Q [B]r.
• 이원차(듀얼리티 간극)에 기반한 중지 규칙을 제공하고 재구성된 Ŷ가 근사 최적의 rank-r 근사가 되도록 보장한다.
• 업데이트 단계(MinEig)의 적응을 통해 PSD(페이즈 리트리벌) 문제로 확장하고 저장 공간 Θ(d + r(m+n))를 유지한다.

실험 결과

연구 질문

• RQ1 볼록 저랭크 행렬 최적화 문제를 Θ(mn) 대신 정보 이론적 한계에 근접한 저장 공간 Θ(d + r(m+n))로 해결할 수 있는가?
• RQ2 결정 변수의 무작위 스케치가 CGM 유사 업데이트 하에서 증명 가능한 저랭크 해로의 수렴을 가능하게 하는가?
• RQ3 스케치에서 재구성된 rank-r 근사에 대한 재구성 보장은 무엇이며, 이것이 실제 해와 어떻게 비교되는가?
• RQ4 SketchyCGM 프레임워크를 PSD/페이즈 리트리벌 문제에 확장하여 증명 가능한 보장을 얻을 수 있는가?
• RQ5 대규모 페이즈 리트리벌 및 매트릭스 완성 사례에서 저장 효율적 방법이 전통적 볼록 및 비볼록 방법과 비교하여 실험적으로 어떤 성능을 보이는가?

주요 결과

• SketchyCGM은 CGM 유사 수렴 보장을 유지하면서 저장 비용 Θ(d + r(m+n))를 달성한다.
• 재구성된 rank-r 해 Ŷ는 CGM 반복 X_t와 근사하고, 최적의 저랭크 근사 오차와 연관된 오차 한계를 가진다; 만약 rank(X_cgm) ≤ r이면 재구성 오차는 기대값에서 0에 수렴한다.
• 해 집합에 rank ≤ r 행렬만 포함되는 문제에서 SketchyCGM의 재구성은 기대값으로 최적 해 집합으로 수렴한다.
• 이 방법은 증명 가능한 수렴 및 오차 경계(정리 2–4)를 제공하며, 유사한 보장을 갖는 PSD/페이즈 리트리벌 확장을 지원한다.
• 실험 결과 SketchyCGM이 페이즈 리트리벌 영상화 작업에서 비볼록 휴리스틱보다 우수한 성능을 보이며 더 낮은 메모리 사용량과 경쟁력 있거나 우수한 재구성 품질을 달성한다.
• 대규모 푸리에 페티오그래피 실험에서 SketchyCGM은 Burer–Monteiro 및 Wirtinger Flow 방법에 비해 위상 재구성에서 인공물(아티팩트)이 더 적다.
• 이 접근법은 메모리 확장성을 보여주어 전체 저장으로는 불가능했던 매우 큰 크기의 행렬을 갖는 문제를 볼록 최적화로 다룰 수 있도록 한다.