[논문 리뷰] A New Sampling Technique for Tensors

Srinadh Bhojanapalli, Sujay Sanghavi|arXiv (Cornell University)|2015. 02. 17.

Tensor decomposition and applications참고 문헌 39인용 수 27

한 줄 요약

이 논문은 제3차원 텐서에 대한 새로운 비균일 샘플링 기법을 제안하며, 정확한 텐서 근사, 희소화, 완성 및 인수분해를 위해 필요한 요소 수를 크게 줄인다. 텐서의 구조에서 유래한 데이터 의존적 샘플링 분포를 활용함으로써, O(n^{1.5}/ε²)개의 샘플로 스펙트럼 근사가 가능해지며, 균일 샘플링에 비해 효율성이 크게 향상된다. 이는 데이터를 두 번만 스캔하고도 병렬 처리가 빠르게 가능하므로 기계학습 응용에 적합하다.

ABSTRACT

In this paper we propose new techniques to sample arbitrary third-order tensors, with an objective of speeding up tensor algorithms that have recently gained popularity in machine learning. Our main contribution is a new way to select, in a biased random way, only $O(n^{1.5}/ε^2)$ of the possible $n^3$ elements while still achieving each of the three goals: \\ {\em (a) tensor sparsification}: for a tensor that has to be formed from arbitrary samples, compute very few elements to get a good spectral approximation, and for arbitrary orthogonal tensors {\em (b) tensor completion:} recover an exactly low-rank tensor from a small number of samples via alternating least squares, or {\em (c) tensor factorization:} approximating factors of a low-rank tensor corrupted by noise. \\ Our sampling can be used along with existing tensor-based algorithms to speed them up, removing the computational bottleneck in these methods.

연구 동기 및 목표

• 텐서 알고리즘의 계산 병목 현상을 해결하기 위해 계산 및 저장이 필요한 텐서 요소의 수를 줄이기 위해.
• 비일관성 가정 없이도 임의의 샘플로부터 형성된 텐서의 효율적 스펙트럼 근사를 가능하게 하기 위해.
• 데이터 적응형 샘플링 전략을 통해 최소한의 샘플 수로 정확한 저질서 텐서 복원을 달성하기 위해.
• 두 번의 스캔을 통한 샘플링 및 완성 프레임워크를 통해 노이즈가 있는 환경에서 근사 텐서 인수분해를 가속화하기 위해.
• 대규모 기계학습 응용에 적합한 계산 효율성과 병렬 처리가 가능한 방법을 개발하기 위해.

제안 방법

• 입력 벡터의 ℓ³ 노름을 기반으로 데이터 의존적 비균일 랜덤 샘플링 분포를 제안하여, 균일 샘플링 대비 샘플링 효율성을 향상시킨다.
• 두 번의 스캔 알고리즘을 사용: 첫 번째 스캔에서 샘플링 확률 계산, 두 번째 스캔에서 요소 샘플링 및 계산으로, 복잡도를 O(nnz(X) + p*m*log(n)) 달성.
• 맞춤형 샘플링 가중치를 적용한 가중치가 부여된 교차 최소제곱법(WALS)을 사용해 빠르고 안정적인 텐서 완성 및 인수분해를 가능하게 한다.
• 스펙트럼 근사의 샘플링 복잡도 상한을 유도하며, 이는 희소화에 대해 O(n^{1.5}/ε²)이며, 정확한 완성에 대해선 O((∑‖U*ᵢ‖^{3/2})² n r³ κ⁴ log²(n))로, κ는 조건수이다.
• 기존의 텐서 구조에 적응하는 새로운 샘플링 분포인 'Tensor L.S.'를 도입하며, 높은 동적 범위 또는 비균형적인 인수 분포 조건에서도 성능을 유지한다.
• 정확한 스펙트럼 노름 계산이 NP-난이도이므로 실무에서 오차 평가를 위해 면별 ℓ² 노름을 통한 스펙트럼 노름 근사 기법을 사용한다.

실험 결과

연구 질문

• RQ1 비일관성 가정 없이도, 좋은 스펙트럼 근사를 위해 필요한 텐서 요소의 수를 비균일 샘플링 전략이 줄일 수 있는가?
• RQ2 특히 텐서가 높은 동적 범위 또는 비균형적인 요소를 가질 경우, 균일 샘플링보다 더 적은 수의 샘플로 정확한 저질서 텐서 복원이 가능한가?
• RQ3 두 번의 스캔을 통한 샘플링 및 완성 프레임워크가 노이즈가 있는 환경에서 빠르고 병렬적이며 정확한 텐서 인수분해를 가능하게 하는가?
• RQ4 오차 및 샘플링 복잡도 측면에서 제안된 샘플링 분포가 균일, ℓ², 또는 합산-ℓ³ 샘플링과 비교해 어떻게 성능을 냈는가?
• RQ5 정규직교 텐서에 대해 데이터 적응형 샘플링 전략을 사용할 때 정확한 복원을 위해 필요한 이론적 샘플링 복잡도는 얼마인가?

주요 결과

• 제안된 Tensor L.S. 샘플링 분포는 모든 테스트된 분포 중에서 가장 낮은 스펙트럼 근사 오차를 기록하며, 비균형적이거나 꼬리가 두꺼운 텐서 구조에서 특히 두각을 나타낸다.
• 텐서 희소화의 경우, 높은 확률로 스펙트럼 오차가 ε√n × (∑‖Xⁱ‖³) 이내가 되기 위해 오직 O(n^{1.5} log³(n)/ε²)개의 샘플이 필요하다.
• 텐서 완성의 경우, 제안된 방법은 전력 법칙 파라미터 a로 제어되는 편향 조건에 관계없이 약동일한 수의 샘플로 질서 5의 정규직교 텐서를 복원할 수 있으나, 균일 샘플링 및 기타 분포는 편향이 증가할수록 훨씬 더 많은 샘플이 필요로 한다.
• 노이즈가 있는 텐서 인수분해의 경우, 제안된 알고리즘이 노이즈의 프로베니우스 노름이 증가함에 따라 경쟁 분포보다도 낮은 RMSE를 기록한다.
• 두 번의 스캔 프레임워크는 완성에 대해 O(mr²)의 복잡도를 달성하며, m = O(n^{1.5}/ε² r³ κ⁴ log²(n)) 이고, 높은 확률로 복원 오차가 12‖ℰ‖/σ*min + ε‖ℰ‖_F/σ*min 이내로 제한된다.
• 수치 시뮬레이션 결과, 제안된 샘플링 전략은 희소화, 완성, 인수분해의 모든 세 가지 설정에서 균일, ℓ², 합산-ℓ³ 샘플링보다 뛰어난 성능을 보였다.