[논문 리뷰] Geometric Structures in Tensor Representations (Final Release)

Antonio Falcó, Wolfgang Hackbusch외 1명|arXiv (Cornell University)|2015. 05. 12.

Tensor decomposition and applications참고 문헌 24인용 수 10

한 줄 요약

이 논문은 루트 트리와 최소 부분공간을 사용하여 트리 기반 형식에서 텐서 표현의 기하적 구조를 수립한다. 고정되거나 유계인 트리 기반 랭크를 가진 텐서의 집합이 분석적 바나흐 다양체를 이룬다는 것을 증명함으로써 고차원 문제에 대한 엄밀한 미분기하학적 프레임워크를 가능하게 한다. 이는 위상적 텐서 바나흐 공간으로의 딜라크-프렌켈 변분 원리를 확장하고, 이러한 다양체에서 최적 근사의 존재를 증명한다.

ABSTRACT

The main goal of this paper is to study the geometric structures associated with the representation of tensors in subspace based formats. To do this we use a property of the so-called minimal subspaces which allows us to describe the tensor representation by means of a rooted tree. By using the tree structure and the dimensions of the associated minimal subspaces, we introduce, in the underlying algebraic tensor space, the set of tensors in a tree-based format with either bounded or fixed tree-based rank. This class contains the Tucker format and the Hierarchical Tucker format (including the Tensor Train format). In particular, we show that the set of tensors in the tree-based format with bounded (respectively, fixed) tree-based rank of an algebraic tensor product of normed vector spaces is an analytic Banach manifold. Indeed, the manifold geometry for the set of tensors with fixed tree-based rank is induced by a fibre bundle structure and the manifold geometry for the set of tensors with bounded tree-based rank is given by a finite union of connected components. In order to describe the relationship between these manifolds and the natural ambient space, we introduce the definition of topological tensor spaces in the tree-based format. We prove under natural conditions that any tensor of the topological tensor space under consideration admits best approximations in the manifold of tensors in the tree-based format with bounded tree-based rank. In this framework, we also show that the tangent (Banach) space at a given tensor is a complemented subspace in the natural ambient tensor Banach space and hence the set of tensors in the tree-based format with bounded (respectively, fixed) tree-based rank is an immersed submanifold. This fact allows us to extend the Dirac-Frenkel variational principle in the framework of topological tensor spaces.

연구 동기 및 목표

• 루트 트리와 최소 부분공간을 사용하여 하위공간 기반 형식에서 텐서 표현의 기하적 프레임워크를 수립하기 위해.
• 위상적 텐서 공간 내에서 고정되거나 유계인 트리 기반 랭크를 가진 텐서의 집합이 분석적 바나흐 다양체로 특성화되도록 하기 위해.
• 자연스러운 조건 하에서 유계 트리 기반 랭크를 가진 텐서의 다양체에서 최적 근사의 존재를 증명하기 위해.
• 트리 기반 형식의 다양체 기하학을 사용하여 딜라크-프렌켈 변분 원리를 텐서 바나흐 공간으로 확장하기 위해.
• 고차원 PDE와 최소화 문제의 수치적 해법을 텐서 형식을 통해 미분기하학적 기초를 제공하기 위해.

제안 방법

• 루트 트리를 사용하여 계층적 텐서 형식을 표현하고, 최소 부분공간의 차원이 트리 기반 랭크를 정의한다.
• 두 유형의 집합을 정의한다: 고정된 트리 기반 랭크를 가진 텐서(단일 다양체)와 유계 트리 기반 랭크를 가진 텐서(유한한 다양체의 합집합).
• 섬유 번들의 이론을 적용하여 고정 랭크 텐서의 다양체 기하학과 유계 랭크 집합의 연결 성분을 밝혀낸다.
• 트리 기반 형식에서의 위상적 텐서 공간을, 바나흐 노름에 대해 대수적 텐서 공간의 완비화로 정의한다.
• 포함 사상의 도함수를 사용하여, 유계 랭크 텐서의 다양체가 침입된 부분다양체임을 증명한다.
• 다이내믹스를 다양체의 탄성 공간 위로 투영함으로써, 시간에 의존하는 하트리 방법을 딜라크-프렌켈 원리로부터 유도한다.

실험 결과

연구 질문

• RQ1 루트 트리와 최소 부분공간을 사용하여 트리 기반 형식에서 텐서 표현의 기하적 구조를 어떻게 특성화할 수 있는가?
• RQ2 위상적 텐서 공간 내에서 고정되거나 유계인 트리 기반 랭크를 가진 텐서의 집합의 미분기하학적 성질은 무엇인가?
• RQ3 유계 트리 기반 랭크를 가진 텐서의 집합이 환경 위상적 텐서 공간에서 최적 근사를 허용하는가?
• RQ4 트리 기반 형식의 다양체 기하학을 사용하여 딜라크-프렌켈 변분 원리를 텐서 바나흐 공간으로 확장할 수 있는가?
• RQ5 트리 기반 형식에서 텐서의 탄성 공간과 환경 텐서 바나흐 공간 사이의 관계는 무엇인가?

주요 결과

• 고정된 트리 기반 랭크를 가진 텐서의 집합은 분석적 바나흐 다양체를 이룬다. 이 다양체의 기하학은 섬유 번들의 구조에 의해 유도된다.
• 유계 트리 기반 랭크를 가진 텐서의 집합은 연결 성분의 유한한 합집합이며, 각 성분은 고정된 트리 기반 랭크를 가진 텐서의 다양체이다.
• 유계 트리 기반 랭크를 가진 텐서의 다양체에서 임의의 텐서의 탄성 공간은 환경 텐서 바나흐 공간의 보완 부분공간이다.
• 유계 랭크 텐서의 다양체에서 환경 공간으로의 포함 사상은 침입 사상임을 확인하여 다양체 기하학을 입증한다.
• 자연스러운 조건 하에서, 유계 트리 기반 랭크를 가진 텐서의 다양체에서 최적 근사가 존재하며, 이는 변분 방법의 수렴을 보장한다.
• 시간에 의존하는 하트리 방법은 다양체 위의 투영된 동역학계의 해로서 유도되며, 딜라크-프렌켈 변분 원리를 만족한다.