[논문 리뷰] Block-Randomized Stochastic Proximal Gradient for Low-Rank Tensor Factorization

Xiao Fu, Shahana Ibrahim외 3명|arXiv (Cornell University)|2019. 01. 16.

Tensor decomposition and applications참고 문헌 65인용 수 5

한 줄 요약

이 논문은 밀도 높은 텐서의 대규모 저질서 텐서 분해를 위한 이重으로 랜덤화된 확률적 프락시멀 그래디언트 프레임워크를 제안한다. 이는 랜덤라이즈드 블록 좌표 강하와 확률적 프락시멀 그래디언트 업데이트를 결합한 것으로, 탄력적인 정규화와 증명 가능하고 안정된 수렴성을 갖춘 메모리 경량 최적화를 가능하게 하며, 의료 영상 및 컴퓨터 비전에서 유래한 대규모 밀도 높은 텐서에서 기존 방법들을 능가한다.

ABSTRACT

This work considers the problem of computing the canonical polyadic decomposition (CPD) of large tensors. Prior works mostly leverage data sparsity to handle this problem, which is not suitable for handling dense tensors that often arise in applications such as medical imaging, computer vision, and remote sensing. Stochastic optimization is known for its low memory cost and per-iteration complexity when handling dense data. However, exisiting stochastic CPD algorithms are not flexible enough to incorporate a variety of constraints/regularizations that are of interest in signal and data analytics. Convergence properties of many such algorithms are also unclear. In this work, we propose a stochastic optimization framework for large-scale CPD with constraints/regularizations. The framework works under a doubly randomized fashion, and can be regarded as a judicious combination of randomized block coordinate descent (BCD) and stochastic proximal gradient (SPG). The algorithm enjoys lightweight updates and small memory footprint. In addition, this framework entails considerable flexibility---many frequently used regularizers and constraints can be readily handled under the proposed scheme. The approach is also supported by convergence analysis. Numerical results on large-scale dense tensors are employed to showcase the effectiveness of the proposed approach.

연구 동기 및 목표

• 의료 영상, 컴퓨터 비전 및 원격 감시에서 흔한 대규모 밀도 높은 텐서에 대한 캐논리컬 폴리아드릭 분해(CPD)를 계산하는 데 도전하는 데 목적이 있다.
• 기존의 확률적 CPD 알고리즘은 정규화 및 제약 조건을 다루는 데 유연성이 없고, 수렴 성질이 명확하지 않다는 한계를 극복하는 데 목적이 있다.
• 다양한 정규화자와 제약 조건을 지원하면서도 낮은 반복 복잡도를 유지하는 확장 가능하고 메모리 효율적인 최적화 프레임워크를 개발하는 데 목적이 있다.
• 이중 랜덤라이즈드 업데이트 체계 하에서 제안된 확률적 최적화 프레임워크의 수렴 분석을 제공하는 데 목적이 있다.

제안 방법

• 이 방법은 이중 랜덤라이즈드 체계를 사용한다: 데이터 샘플링을 위한 텐서 파이버의 랜덤 선택과 블록 좌표 업데이트를 위한 요인 블록의 랜덤 선택.
• 랜덤라이즈드 블록 좌표 강하(BCD)와 확률적 프락시멀 그래디언트(SPG)를 통합하여, 각 반복에서 전체 요인 업데이트를 가능하게 하면서도 낮은 메모리 사용을 유지한다.
• 샘플된 텐서 파이버를 통해 그래디언트의 확률적 근사치를 사용하며, 수렴을 향상시키기 위해 적응형 스텝 사이즈(예: Adagrad)를 적용한다.
• 다양한 정규화 항(예: 희박성, 비음성)을 직접 업데이트 규칙에 통합하기 위해 프락시멀 연산자를 도입한다.
• 부분 텐서 데이터 위에서 작동하고 매 반복마다 하나의 요인 블록만 업데이트함으로써 경량 업데이트를 지원한다.
• 유도 함수 분석을 통해 수렴성을 확립하였으며, 유계성 가정 하에 그래디언트 노름이 거의 확실히 0으로 수렴함을 보였다.

실험 결과

연구 질문

• RQ1 대규모 밀도 높은 텐서 CPD를 위한 확률적 최적화 프레임워크를 설계할 수 있는가? 이는 탄력적인 정규화와 제약 조건을 지원해야 한다.
• RQ2 각 반복에서 전체 요인 업데이트를 보장하면서도 반복 복잡도를 최소화할 수 있는가?
• RQ3 이중 랜덤라이즈드 확률적 프락시멀 그래디언트 방법의 텐서 CPD에 대한 수렴 행동은 어떠한가?
• RQ4 밀도 높은 텐서를 처리하면서도 낮은 메모리 사용과 계산 비용을 유지할 수 있는가?

주요 결과

• 제안된 프레임워크는 배치 방법에 비해 상당한 메모리 및 계산 절감을 달성하여, 주로 메모리에 들어가지 않는 크기의 텐서 처리를 가능하게 한다.
• 알고리즘은 거의 확실히 정류점으로 수렴하며, 유도 함수 분석을 통해 이론적 보장을 받는다.
• 의료 영상 및 컴퓨터 비전에서 유래한 대규모 밀도 높은 텐서에 대한 실험 결과는 기존의 확률적 CPD 방법보다 더 빠른 수렴과 향상된 성능을 보였다.
• 정규화자(예: 비음성, 희박성)를 효율적으로 통합하면서도 수렴성과 효율성을 훼손하지 않았다.
• 분산 구현을 지원하며, 텐서 크기와 랭크에 따라 잘 스케일링된다.