[논문 리뷰] Range-Net: A High Precision Streaming SVD for Big Data Applications

Gurpreet Singh, Soumyajit Gupta외 2명|arXiv (Cornell University)|2020. 10. 27.

Stochastic Gradient Optimization Techniques참고 문헌 29인용 수 5

한 줄 요약

Range-Net는 대규모 데이터 응용 분야에서 스트리밍 저질서 SVD를 위한 결정론적이고 이단계적인 신경 최적화 프레임워크이다. 기계 정밀도에서 에이커트-영-미르스키(EYM) 꼬리 에너지 하한을 달성하며, 메모리 사용을 특성 차원과 랭크에만 의존함으로써 랜덤화된 SVD 방법보다 정확도가 6개 주기만큼 뛰어나면서도 해석 가능성과 이론적 오차 하한에 대한 수렴성을 유지한다.

ABSTRACT

In a Big Data setting computing the dominant SVD factors is restrictive due to the main memory requirements. Recently introduced streaming Randomized SVD schemes work under the restrictive assumption that the singular value spectrum of the data has exponential decay. This is seldom true for any practical data. Although these methods are claimed to be applicable to scientific computations due to associated tail-energy error bounds, the approximation errors in the singular vectors and values are high when the aforementioned assumption does not hold. Furthermore from a practical perspective, oversampling can still be memory intensive or worse can exceed the feature dimension of the data. To address these issues, we present Range-Net as an alternative to randomized SVD that satisfies the tail-energy lower bound given by Eckart-Young-Mirsky (EYM) theorem. Range-Net is a deterministic two-stage neural optimization approach with random initialization, where the main memory requirement depends explicitly on the feature dimension and desired rank, independent of the sample dimension. The data samples are read in a streaming setting with the network minimization problem converging to the desired rank-r approximation. Range-Net is fully interpretable where all the network outputs and weights have a specific meaning. We provide theoretical guarantees that Range-Net extracted SVD factors satisfy EYM tail-energy lower bound at machine precision. Our numerical experiments on real data at various scales confirms this bound. A comparison against the state of the art streaming Randomized SVD shows that Range-Net accuracy is better by six orders of magnitude while being memory efficient.

연구 동기 및 목표

• 스펙트럼 감쇠 가정에 제약을 받는 스트리밍 랜덤화 SVD 방법의 한계를 해결하기 위해, 이러한 가정이 실패할 경우 높은 근사 오차를 유발하는 문제를 해결한다.
• 에이커트-영-미르스키(EYM) 정리에서 정의한 꼬리 에너지 오차의 이론적 하한을 달성하는 저메모리 스트리밍 SVD 솔버를 개발한다.
• 모든 네트워크 가중치와 출력이 SVD 맥락에서 명시적인 수학적 의미를 가지도록 해석 가능성을 보장한다.
• 완전한 행렬 로딩 없이도 정확한 저질서 근사가 가능한 실용적이고 독립적으로 검증 가능한 랜덤화 SVD의 대안을 제공한다.

제안 방법

• Range-Net는 두 단계의 결정론적 신경 최적화 프로세스를 사용한다: 첫 번째 단계에서는 목표 랭크-r 근사의 범위를 프로젝터 네트워크를 통해 식별한다.
• 두 번째 단계에서는 식별된 범위를 진짜 왼쪽 및 오른쪽 특이벡터에 정렬하면서 해당 특이값을 추출한다.
• 네트워크는 무작위로 초기화되지만 프레베니우스 노름 오차 최소화를 통한 최적화 과정을 거쳐 EYM 하한에 수렴한다.
• 주 메모리 사용량은 샘플 수 m과는 무관하게 특성 차원 n과 목표 랭크 r에만 의존하므로 스트리밍 처리가 가능하다.
• 재구성된 행렬과 진짜 저질서 근사 간의 차이를 최소화하도록 유도하는 손실 함수를 사용한다.
• 이론적 보장은 부록 A에서 제공되며, 추출된 SVD 요소가 기계 정밀도에서 EYM 꼬리 에너지 하한을 충족함을 증명한다.

실험 결과

연구 질문

• RQ1 스펙트럼 감쇠 가정에 의존하지 않고도 스트리밍 SVD 방법이 이론적 EYM 꼬리 에너지 하한을 달성할 수 있는가?
• RQ2 대규모 데이터 환경에서 결정론적 신경 SVD 접근 방식의 메모리 효율성은 랜덤화된 스트리밍 SVD 방법보다 어떻게 비교되는가?
• RQ3 신경망 기반 SVD 솔버는 가중치와 출력의 해석 가능성과 동시에 얼마나 높은 정확도를 유지할 수 있는가?
• RQ4 완전한 행렬 로딩 없이도 Range-Net이 실질적인 대규모 데이터 응용에서 EYM 하한에 기계 정밀도로 수렴할 수 있는가?
• RQ5 특이벡터와 특이값 근사 정확도 측면에서 Range-Net의 성능은 최신 랜덤화 SVD 알고리즘과 어떻게 비교되는가?

주요 결과

• Range-Net는 기계 정밀도에서 에이커트-영-미르스키(EYM) 꼬리 에너지 하한을 달성하며, 부록 A에서 이론적 보장을 제공한다.
• MNIST 데이터셋(m=60k, n=784, r=200)에서 Range-Net는 피크 메모리 사용량이 916 MB 뿐이었고, 오버샘플링으로 인해 SketchySVD는 14 GB를 사용했다.
• 랭크-100 근사에서, Range-Net는 모든 100 인덱스에서 진짜 오른쪽 특이벡터와 뛰어난 상관관계를 유지했지만, SketchySVD는 인덱스 10 이후에 상당한 편차를 보였다.
• Range-Net의 특이값 스크리 플롯은 기존 SVD와 거의 완벽한 일치를 보였고, 반면 SketchySVD는 랭크 3 이후에 상당한 편차를 보였다.
• 수치 실험에서, Range-Net는 특이벡터와 특이값 양쪽 모두에서 최신 랜덤화 SVD보다 정확도가 6개 주기만큼 뛰어나다.
• 랜덤화 SVD가 주관적인 상한 오차 추정에 의존하는 것과는 달리, 이 방법은 전체 SVD 수행 없이도 독립적으로 검증 가능하다.