[논문 리뷰] Efficient construction of tensor ring representations from sampling

Yuehaw Khoo, Jianfeng Lu외 1명|arXiv (Cornell University)|2017. 11. 02.

Tensor decomposition and applications참고 문헌 20인용 수 6

한 줄 요약

이 논문은 제한된 데이터에서 고차원 함수의 텐서 레일(TR) 표현을 구성하기 위한 효율적인 샘플링 기반 방법을 제안한다. 이는 새로운 초기화 방법을 사용하는 교대 최소 제곱(ALS)을 기반으로 하며, 텐서트레이(TR) 형식보다 더 뛰어난 압축 효율성과 구조 보존 성능을 달성한다. 이 방법은 오직 O(d)개의 샘플만 필요로 하며, 유사한 정확도에서 더 낮은 파라미터 수로 빠른 수렴을 가능하게 한다.

ABSTRACT

In this paper we propose an efficient method to compress a high dimensional function into a tensor ring format, based on alternating least-squares (ALS). Since the function has size exponential in $d$ where $d$ is the number of dimensions, we propose efficient sampling scheme to obtain $O(d)$ important samples in order to learn the tensor ring. Furthermore, we devise an initialization method for ALS that allows fast convergence in practice. Numerical examples show that to approximate a function with similar accuracy, the tensor ring format provided by the proposed method has less parameters than tensor-train format and also better respects the structure of the original function.

연구 동기 및 목표

• 고차원 함수를 전체 텐서에 대한 액세스가 불가능한 상황(지수적 크기로 인해)에서도 저질서 텐서 레일(TR) 형식으로 압축하는 데 도전하는 것.
• 고차원 문제에 대해 효율적인 TR 구축을 가능하게 하는 O(d)개의 핵심 샘플을 선택하는 샘플링 전략 개발.
• 실제로 빠른 수렴을 보장하는 교대 최소 제곱(ALS)을 위한 초기화 방법 설계.
• 동일한 근사 정확도에서 텐서트레이(TT) 형식에 비해 더 낮은 파라미터 수와 더 나은 구조 보존 성능을 제공하는 TR 형식의 우수성을 입증하는 것.

제안 방법

• 샘플된 함수 값에서 TR 코어 텐서를 학습하기 위해 교대 최소 제곱(ALS) 알고리즘을 사용하며, 전체 텐서 저장을 피한다.
• 함수의 계층적 구조와 저질서 성질을 활용하여 O(d)개의 중요한 샘플을 선택하는 새로운 샘플링 전략을 도입한다.
• 스켈레톤 분해와 CUR 행렬 기반의 초기화 전략을 제안하여 ALS 수렴 속도를 가속화한다.
• 텐서 네트워크 다이어그램과 행렬 재구성 기법을 활용하여 프로베니우스 노름 최소화를 통한 TR 코어 업데이트를 효율적으로 계산한다.
• 가짜 역행렬과 조건수 분석을 통해 샘플링 제약 조건 하에서 근사 정확도를 보장하는 이론적 경계를 유도한다.
• 함수를 블랙박스로 간주하여, 그리드 포인트의 부분 집합만을 샘플링하여 TR 형식을 재구성한다.

실험 결과

연구 질문

• RQ1 고차원 함수가 오직 O(d)개의 샘플만을 사용하여도 텐서 레일 형식으로 정확하게 압축될 수 있는가?
• RQ2 TR 형식 학습에서 빠른 수렴을 보장하기 위해 ALS에 대한 초기화 전략을 어떻게 설계할 수 있는가?
• RQ3 동일한 근사 오차에서 텐서 레일 형식이 텐서트레이 형식보다 더 나은 파라미터 효율성과 구조 보존 성능을 제공하는가?
• RQ4 부분 샘플만을 이용할 경우, TR 근사 오차에 대해 어떤 이론적 보장을 확보할 수 있는가?

주요 결과

• 제안된 방법은 더 적은 파라미터로 텐서트레이(TT) 형식과 유사하거나 더 높은 근사 정확도를 달성한다.
• 제안된 방법을 통해 구축된 TR 형식은 TT 형식에 비해 원래 함수의 잠재 구조를 더 잘 유지한다.
• 샘플링 전략은 오직 O(d)개의 샘플만 필요로 하여 고차원 문제에 대해 확장 가능하다.
• 초기화 방법 덕분에 ALS의 수렴 속도가 빨라져 수렴에 필요한 반복 수가 감소한다.
• 이론적 분석 결과, 편향 δα, δκ가 작을 경우 근사 오차가 O(δα + 4δκ) 이하로 유계임을 보여주며, 이는 안정성을 의미한다.
• 실험적으로 강력한 성능을 보이며, 오차 경계가 샘플 품질과 랭크 제약 조건에 따라 유리하게 스케일링됨을 입증한다.