[논문 리뷰] Adaptive Tensor Learning with Tensor Networks

Meraj Hashemizadeh, Meilin Liu외 2명|arXiv (Cornell University)|2020. 08. 12.

Tensor decomposition and applications참고 문헌 23인용 수 8

한 줄 요약

이 논문은 사용자 간섭을 최소화하여 최적의 저질서 구조를 자동으로 발견할 수 있는 일반적이고 적응형 텐서 학습 알고리즘을 제안한다. 미분 가능한 손실를 기반으로 탐욕적으로 텐서 네트워크 간선을 추가함으로써, 텐서 완성 및 분해 작업에서 고정된 분해 모델보다 뛰어난 효율적인 데이터 기반 텐서 네트워크 아키텍처를 효과적으로 식별한다.

ABSTRACT

Tensor decomposition techniques have shown great successes in machine learning and data science by extending classical algorithms based on matrix factorization to multi-modal and multi-way data. However, there exist many tensor decomposition models~(CP, Tucker, Tensor Train, etc.) and the rank of such a decomposition is typically a collection of integers rather than a unique number, making model and hyper-parameter selection a tedious and costly task. At the same time, tensor network methods are powerful tools developed in the physics community which have recently shown their potential for machine learning applications and offer a unifying view of the various tensor decomposition models. In this paper, we leverage the tensor network formalism to develop a generic and efficient adaptive algorithm for tensor learning. Our method is based on a simple greedy approach optimizing a differentiable loss function starting from a rank one tensor and successively identifying the most promising tensor network edges for small rank increments. Our algorithm can adaptively identify tensor network structures with small number of parameters that effectively optimize the objective function from data. The framework we introduce is very broad and encompasses many common tensor optimization problems. Experiments on tensor decomposition and tensor completion tasks with both synthetic and real world data demonstrate the effectiveness of the proposed algorithm.

연구 동기 및 목표

• 일반적으로 수동이며 비용이 많이 들고 데이터 유형 간으로 일관되지 않은 최적의 텐서 분해 모델과 랭크를 선택하는 문제를 해결하기 위해.
• 예를 들어 CP, Tucker, 텐서 트레인와 같은 다양한 텐서 분해 모델을 단일 텐서 네트워크 형식으로 통합하여 체계적인 최적화를 가능하게 하기 위해.
• 최소한의 파라미터 수로 가장 정보가 풍부한 텐서 네트워크 구조를 자동으로 식별할 수 있는 적응형 알고리즘을 개발하기 위해.
• 분해 랭크나 아키텍처에 대한 사전 지식이 필요 없이 텐서 학습 목표 함수를 효율적이고 미분 가능한 방식으로 최적화할 수 있도록 하기 위해.

제안 방법

• 방법은 랭크-원 텐서에서 시작하여 가장 유익한 텐서 네트워크 간선을 단계적으로 추가하는 탐욕적이고 반복적인 접근을 사용한다.
• 각 단계에서 알고리즘은 모델 성능을 가장 크게 향상시키는 다음 간선을 선택하기 위해 미분 가능한 손실 함수를 최적화한다.
• 텐서 네트워크 구조는 연결의 데이터 기반 중요도에 따라 동적으로 구성되며, 적응형 아키텍처 학습이 가능해진다.
• 이 프레임워크는 일반적이며 텐서 분해 및 텐서 완성과 같은 다양한 텐서 학습 문제를 지원한다.
• 알고리즘은 텐서 네트워크의 수학적 구조를 활용하여 기존의 분해 모델을 통합하고 일반화한다.
• 파라미터 업데이트는 기울기 기반 최적화를 통해 수행되어 엔드 투 엔드의 미분 가능성과 확장성 보장한다.

실험 결과

연구 질문

• RQ1 수동적인 랭크 또는 모델 선택 없이 최적의 텐서 네트워크 아키텍처를 자동으로 발견할 수 있는 통합적이고 적응형 프레임워크를 개발할 수 있는가?
• RQ2 탐욕적이고 미분 가능한 간선 추가 전략이 실제 및 합성 데이터에서 잘 일반화되는 컴act한 텐서 네트워크 구조를 얼마나 효과적으로 식별할 수 있는가?
• RQ3 제안된 방법이 정확도와 파라미터 효율성 측면에서 고정된 텐서 분해 모델(예: CP, Tucker)보다 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 이 알고리즘은 텐서 완성 및 분해와 같은 다양한 텐서 학습 작업에 일반화될 수 있는가?

주요 결과

• 제안된 적응형 알고리즘은 표준 고정 랭크 모델보다 훨씬 적은 파라미터로 텐서 네트워크 구조를 발견하면서도 성능을 유지하거나 향상시킨다.
• 합성 데이터에서의 실험 결과, 이 방법은 높은 정확도와 낮은 랭크로 기저의 텐서 구조를 성공적으로 복원한다.
• 실제 세계의 텐서 완성 작업에서, 이 알고리즘은 최신 기준 성능과 비교해도 경쟁력 있거나 뛰어난 성능을 달성한다.
• 이 방법은 다양한 데이터 유형과 텐서 분해 모델에 걸쳐 뛰어난 강건성을 보이며, 광범위한 적용 가능성을 확인한다.
• 탐욕적이고 미분 가능한 간선 선택 과정은 수동 하이퍼파rameter 조정이 필요 없이 효율적인 수렴과 안정적인 최적화를 이끈다.