[논문 리뷰] Low-Rank Tucker Approximation of a Tensor From Streaming Data

Yiming Sun, Yang Guo외 3명|arXiv (Cornell University)|2019. 04. 24.

Tensor decomposition and applications참고 문헌 41인용 수 10

한 줄 요약

이 논문은 다중 방식(multilinear)의 구조를 모든 모드에서 포괄하는 새로운 선형 스케치인 Tucker 스케치를 사용하여, 한 번의 스트리밍 패ass만으로 저질서 텐서(Tucker) 근사화를 수행하는 알고리즘을 제안한다. 이 방법은 증명 가능한 오차 한계를 확보하면서도, 핵심 텐서의 자유도에 비례하는 저장소만을 요구하여, 스트리밍, 분산, 또는 메모리 외부 데이터로부터의 거대한 텐서의 효율적 압축 및 분석을 가능하게 한다.

ABSTRACT

This paper describes a new algorithm for computing a low-Tucker-rank approximation of a tensor. The method applies a randomized linear map to the tensor to obtain a sketch that captures the important directions within each mode, as well as the interactions among the modes. The sketch can be extracted from streaming or distributed data or with a single pass over the tensor, and it uses storage proportional to the degrees of freedom in the output Tucker approximation. The algorithm does not require a second pass over the tensor, although it can exploit another view to compute a superior approximation. The paper provides a rigorous theoretical guarantee on the approximation error. Extensive numerical experiments show that that the algorithm produces useful results that improve on the state of the art for streaming Tucker decomposition.

연구 동기 및 목표

• 메인 메모리에 들어가지 않거나 순차적으로 생성되는 거대한 텐서에 대해 저질서 Tucker 근사화를 계산하는 데 도전하는 문제를 해결한다.
• 스트리밍, 분산, 또는 메모리 제약 환경에 적합한, 데이터를 한 번만 스캔하는 방법을 개발한다.
• 매트리시제이션(matricizations)의 尾部 에너지(의존성)에 기반한 근사 오차에 대한 이론적 보장을 제공한다.
• 두 번째 데이터 패assing 없이 최소한의 저장소로 효율적인 텐서 압축과 클러스터링과 같은 후속 작업을 가능하게 한다.
• 한 번의 패assing과 두 번의 패assing 버전을 모두 지원하는 스케칭 기반 프레임워크를 설계하여 정확도를 향상시킨다.

제안 방법

• 각 텐서 모드의 주요 부분공간과 핵심 텐서를 통한 다중선형 상호작용을 포착하는 선형 스케칭 기법인 Tucker 스케치를 도입한다.
• 각 모드에 적용된 난수 기반 차원 감소 맵을 사용하여 스케칭을 구성함으로써 선형성과 스트리밍 및 분산 데이터와의 호환성을 확보한다.
• 원래 텐서에 대한 두 번째 패assing 없이도 스케칭에서 직접 저질서 Tucker 근사화를 계산하기 위해 절단된 QR 분해를 사용한다.
• 추가적인 데이터 접근을 활용하여 근사 품질을 향상시키는 두 번의 패assing 버전을 제안하며, 기대치상 HOSVD/ST-HOSVD 성능에 도달한다.
• 스펙트럼 감쇠를 활용하여 랭크를 적응적으로 선택함으로써, 추가적인 데이터 접근 없이도 출력된 Tucker 근사화를 고정된 랭크로 압축하는 방법을 개발한다.
• 클러스터링과 같은 후속 작업을 위해 스케칭 자체를 압축된 요약 자료로 사용함으로써, 효율적인 영상 장면 분류를 가능하게 한다.

실험 결과

연구 질문

• RQ1 스트리밍 또는 분산 데이터에서 한 번의 패assing만으로도 증명 가능한 오차 보장을 확보한 저질서 Tucker 근사화를 계산할 수 있는가?
• RQ2 Tucker 스케치는 저장소 요구량을 최소화하면서도 모든 텐서 모드에서 다중선형 구조를 어떻게 유지하는가?
• RQ3 이전의 스트리밍 텐서 분해 기법에 비해 한 번의 패assing Tucker 스케치 방법은 근사 정확도 측면에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 완전한 Tucker 근사화를 재구성하지 않고도 스케칭을 직접 클러스터링과 같은 후속 작업에 사용할 수 있는가?
• RQ5 두 번의 패assing 버전은 한 번의 패assing 방법에 비해 근사 품질과 HOOI 성능에 수렴하는 데서 어떻게 향상되는가?

주요 결과

• 한 번의 패assing Tucker 스케치 알고리즘은 텐서의 어떤 매트리시제이션의 尾部 에너지에 따라 오차 한계를 보장하며, 엄밀한 이론적 보장을 제공한다.
• 두 번의 패assing 알고리즘은 한 번의 패assing 방법을 능가하며, 저장소 예산이 증가함에 따라 HOOI 성능에 수렴하며, 특히 낮은 목표 랭크에서 두드러진다.
• 기후 및 연소 시뮬레이션 데이터에서, 전체 데이터가 메모리에 들어가지 않더라도 알고리즘이 텐서를 성공적으로 압축하여 높은 압축 비율과 낮은 오차를 달성한다.
• 영상 장면 분류 작업에서는, 전체 텐서가 공간 차원에서 저질서가 아니더라도, 스케칭을 직접 사용한 클러스터링이 효과적인 결과를 내며, 이전 연구와 유사한 성능을 보인다. 이때 저장소 사용량은 약 1/500에 불과하다.
• 완전한 Tucker 재구성 없이도 스케칭을 직접 클러스터링에 사용할 경우 효과적인 결과를 얻을 수 있으며, 이는 공간 차원에서 텐서가 저질서가 아니더라도 성립한다.
• 이 방법은 저장소가 출력된 Tucker 근사화의 자유도에 비례함으로써, 스트리밍, 분산, 메모리 제약 환경에서 효율적이고 확장 가능한 텐서 분석을 가능하게 한다.