[논문 리뷰] Characterization of Deterministic and Probabilistic Sampling Patterns for Finite Completability of Low Tensor-Train Rank Tensor

Morteza Ashraphijuo, Xiaodong Wang|arXiv (Cornell University)|2017. 03. 22.

Tensor decomposition and applications참고 문헌 29인용 수 5

한 줄 요약

이 논문은 저티텐서트레인(TT) 랭크 텐서의 유한하고 유일한 완성 가능성을 보장하는 결정론적 및 확률론적 샘플링 패턴을 특성화하기 위해 새로운 대수기하학적 프레임워크를 제안한다. 샘플링된 요소들을 TT 분해 변수에 대한 다항식으로 모델링함으로써, 저자들은 다항식의 대수적 독립성에 기반한 유한 완성 가능성에 대한 필요 및 충분 조건을 도출하고, 고확률 유일 복원을 보장하는 확률론적 샘플링 경계를 수립하여, 전개 기반 방법에 비해 요구 샘플 수를 크게 감소시킨다.

ABSTRACT

In this paper, we analyze the fundamental conditions for low-rank tensor completion given the separation or tensor-train (TT) rank, i.e., ranks of unfoldings. We exploit the algebraic structure of the TT decomposition to obtain the deterministic necessary and sufficient conditions on the locations of the samples to ensure finite completability. Specifically, we propose an algebraic geometric analysis on the TT manifold that can incorporate the whole rank vector simultaneously in contrast to the existing approach based on the Grassmannian manifold that can only incorporate one rank component. Our proposed technique characterizes the algebraic independence of a set of polynomials defined based on the sampling pattern and the TT decomposition, which is instrumental to obtaining the deterministic condition on the sampling pattern for finite completability. In addition, based on the proposed analysis, assuming that the entries of the tensor are sampled independently with probability $p$, we derive a lower bound on the sampling probability $p$, or equivalently, the number of sampled entries that ensures finite completability with high probability. Moreover, we also provide the deterministic and probabilistic conditions for unique completability.

연구 동기 및 목표

• 최적화 알고리즘과 무관하게 저TT-랭크 텐서의 유한 또는 유일한 완성 가능성을 보장하는 기본적인 샘플링 패턴 조건을 규명하는 것.
• 기존의 그라스만기반 접근법의 한계를 극복하기 위해, 전체 랭크 벡터의 구조를 포괄하는 TT 전용 대수기하학적 분석을 개발하는 것.
• 샘플링된 요소들로부터 유도된 다항식의 대수적 독립성에 기반한, 유한 완성 가능성에 대한 결정론적 필요 및 충분 조건을 도출하는 것.
• 독립 동일분포(i.i.d.) 샘플링 하에 고확률 유한 및 유일한 완성 가능성을 보장하는 확률론적 샘플링 경계를 제공하는 것.
• TT 접근법을 전개 기반 방법과 비교하여, 샘플 수 요구량을 줄이는 효율성을 입증하는 것.

제안 방법

• 각 샘플링된 텐서 요소를 TT 분해 텐서의 변수에 대한 다항식으로 모델링하여 다항방정식계를 구성한다.
• TT 분해에 대한 동치류를 정의하여 샘플링 패턴 전반에 걸친 대수적 독립성 분석을 단순화한다.
• 샘플링 패턴의 기하학적 구조를 활용해 대수적으로 독립인 다항식의 최대 수를 계산하여, 유한 완성 가능성의 조건을 도출한다.
• 버니스타인의 정리와 대수기하 도구를 적용하여, 유한 및 유일한 완성 가능성을 확보하기 위한 샘플 수에 대한 경계를 유도한다.
• 독립 동일분포(i.i.d.) 샘플링 하에서 충분한 대수적 독립성을 확보할 확률을 분석하여, 확률론적 샘플링 조건을 수립한다. 이때 선택 확률은 $p$이다.
• 레마 18과 정리 5의 결과를 활용하여, 유일한 완성 가능성이 확률 $1 - \epsilon$ 이상으로 보장되도록 하는 $p$에 대한 고확률 경계를 유도한다.

실험 결과

연구 질문

• RQ1 주어진 TT 랭크 벡터를 바탕으로, 저TT-랭크 텐서의 유한 완성 가능성을 보장하는 결정론적 샘플링 패턴은 무엇인가?
• RQ2 유한 완성 가능성 외에 유일한 완성 가능성을 보장하기 위해 추가로 필요한 샘플링 패턴 제약 조건은 무엇인가?
• RQ3 독립 동일분포(i.i.d.) 요소 선택을 통한 확률적 샘플링으로, 고확률로 유한 또는 유일한 완성 가능성을 확보할 수 있는가?
• RQ4 제안된 TT 기반 대수기하학적 접근법은 전개 기반 방법에 비해 샘플 효율성이 얼마나 뛰어나게 되는가?
• RQ5 무작위 샘플링 하에, 유한 또는 유일한 완성 가능성을 고확률로 보장하기 위해 필요한 최소 샘플 수는 얼마인가?

주요 결과

• 제안된 TT 다양체 위의 대수기하학적 분석은 그라스만기반 방법이 한 개의 랭크 구성요소만 다루는 데 반해, 모든 TT 랭크 구성요소를 동시에 고려할 수 있다.
• 샘플링 패턴이 생성하는 다항식의 최대 대수적 독립 수에 기반한, 유한 완성 가능성에 대한 필요 및 충분 조건이 도출되었다.
• 유일한 완성 가능성의 경우, 변수 전체를 결정할 수 있도록 보장하는 확장된 결정론적 충분 조건이 제공된다.
• 독립 동일분포(i.i.d.) 샘플링 하에 확률 $p$에 대한 하한이 유도되었으며, 이는 유일한 완성 가능성이 확률 $1 - \epsilon$ 이상으로 성립하도록 보장한다. 이 경계는 텐서 크기 $n$, 차원 $d$, 랭크 벡터 $r_k$에 명시적인 의존성을 가진다.
• 수치적 비교 결과, TT 접근법은 전개 기반 방법에 비해 훨씬 적은 샘플 수를 요구함을 보였으며, 특히 고차원 텐서에서 샘플 효율성이 뛰어나다는 점을 입증하였다.
• 유일한 완성 가능성을 보장하기 위한 샘플 수는 $n^2 \max\left\{63\log(4n/\epsilon) + 9\log(8M/\epsilon) + 18, 6r_{d-2}\right\}$로 경계된다. 여기서 $M = n\sum_{k=1}^{d-2} r_{k-1}r_k - \sum_{k=1}^{d-2} r_k^2$이다.