[논문 리뷰] Learning with tree-based tensor formats

Erwan Grelier, Anthony Nouy외 1명|arXiv (Cornell University)|2018. 11. 11.

Tensor decomposition and applications참고 문헌 20인용 수 13

한 줄 요약

이 논문은 트리 기반 텐서 형식을 활용하여 고차원 함수를 학습하기 위한 적응형 알고리즘을 제안하며, 다중선형 최적화와 확률적 트리 적응을 통해 수치적으로 안정적이고 높은 정확도의 근사치를 달성한다. 이 방법은 균일한 랭크 모델보다 뛰어나며, 높은 확률로 최적의 트리 구조를 복원하여 고차원 통계적 환경에서 낮은 전문성으로도 강건한 학습을 가능하게 한다.

ABSTRACT

This paper is concerned with the approximation of high-dimensional functions in a statistical learning setting, by empirical risk minimization over model classes of functions in tree-based tensor format. These are particular classes of rank-structured functions that can be seen as deep neural networks with a sparse architecture related to the tree and multilinear activation functions. For learning in a given model class, we exploit the fact that tree-based tensor formats are multilinear models and recast the problem of risk minimization over a nonlinear set into a succession of learning problems with linear models. Suitable changes of representation yield numerically stable learning problems and allow to exploit sparsity. For high-dimensional problems or when only a small data set is available, the selection of a good model class is a critical issue. For a given tree, the selection of the tuple of tree-based ranks that minimize the risk is a combinatorial problem. Here, we propose a rank adaptation strategy which provides in practice a good convergence of the risk as a function of the model class complexity. Finding a good tree is also a combinatorial problem, which can be related to the choice of a particular sparse architecture for deep neural networks. Here, we propose a stochastic algorithm for minimizing the complexity of the representation of a given function over a class of trees with a given arity, allowing changes in the topology of the tree. This tree optimization algorithm is then included in a learning scheme that successively adapts the tree and the corresponding tree-based ranks. Contrary to classical learning algorithms for nonlinear model classes, the proposed algorithms are numerically stable, reliable, and require only a low level expertise of the user.

연구 동기 및 목표

• 제한된 데이터와 높은 차원성으로 인해 발생하는 통계학적 학습에서 고차원 함수를 근사화하는 데 도전하는 것.
• 트리 텐서 형식을 기반으로 하는 비선형, 랭크 구조 모델 클래스에서 수치적으로 안정적이고 사용자 친화적인 알고리즘을 개발하는 것.
• 함수 근사화를 위한 최적의 트리 구조와 트리 기반 랭크를 선택하는 조합 최적화 문제를 해결하는 것.
• 트리 구조와 랭크의 공동 최적화를 통한 적응형 모델 선택을 통해 일반화 능력과 근사 정확도를 향상시키는 것.

제안 방법

• 표현 방식을 전환함으로써 비선형 트리 기반 텐서 형식에 대한 리스크 최소화 문제를 선형 학습 문제의 연속으로 재구성한다.
• 다중선형 모델 구조를 활용하여 안정적인 최적화를 가능하게 하고, 표준 정규화 또는 게으른 방법을 통해 희박성의 특성을 활용한다.
• 고정된 차수를 가진 트리 구조의 탐색을 위해 확률적 트리 적응 알고리즘을 사용하여 표현 복잡도를 최소화하는 구조를 선택한다.
• 반복 최적화를 통한 랭크 적응을 통합하여 비균일하고 데이터 기반의 트리 기반 랭크 선택을 가능하게 한다.
• 트리와 랭크 적응을 순차적 학습 체계에 통합하여 최소한의 사용자 전문성으로 근사 정확도를 향상시킨다.
• 계층적 텐서 형식을 사용한 경험 리스크 최소화를 적용하여 효율적인 계산과 수치적 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 트리 기반 텐서 형식을 사용하여 고차원 함수에 대한 적응형이고 수치적으로 안정적인 학습 알고리즘을 구축할 수 있는가?
• RQ2 근사 오차를 최소화하기 위해 최적의 트리 구조와 트리 기반 랭크를 동시에 선택하는 방법은 무엇인가?
• RQ3 고차원 함수 근사에 있어 트리 구조의 조합 공간을 효과적으로 탐색할 수 있는 확률적 전략은 무엇인가?
• RQ4 트리 구조와 랭크의 공동 적응은 고정 또는 균일한 랭크 모델에 비해 일반화 능력을 어떻게 향상시키는가?
• RQ5 제안된 방법은 제한된 학습 데이터와 전문가 수준의 캘리브레이션 없이도 높은 정확도의 근사치를 달성할 수 있는가?

주요 결과

• 제안된 알고리즘은 15차원 테스트 함수에서 364개의 파라미터로 $1.18 \times 10^{-4}$의 리스크를 달성하여 균일한 랭크 모델보다 뚜렷이 뛰어나다.
• 동일한 함수에 대해 2427개의 파라미터로 $2.95 \times 10^{-14}$의 리스크를 달성하여 모델 복잡도 증가에 따라 지수적 수렴을 보여준다.
• 수치 실험에서 확률적 트리 적응 알고리즘이 랜덤 초기화로부터 최적의 트리 구조를 높은 확률로 복원한다.
• 비균일한 랭크 선택에 비해 랭크 적응이 더 뛰어난 성능을 보이며, 유사한 파라미터 수준에서 더 낮은 리스크 값을 기록한다.
• 비선형 모델 최적화에서 흔히 발생하는 수치적 불안정성 문제를 피함으로써 최소한의 사용자 전문성으로도 안정적인 학습이 가능하다.
• 학습 샘플 수의 증가에 따라 알고리즘이 효과적으로 스케일업되며, $n$이 증가할수록 근사 정확도가 향상되지만 계산 비용도 함께 증가한다.