[논문 리뷰] Function-Train: A continuous analogue of the tensor-train decomposition

Alex Gorodetsky, Sertaç Karaman외 1명|arXiv (Cornell University)|2015. 10. 30.

Tensor decomposition and applications참고 문헌 26인용 수 12

한 줄 요약

이 논문은 다변수 함수를 일변수 함수 코어의 순서로 표현함으로써 적응형 고차원 함수 근사와 통합, 미분, 산술 연산을 다항시간에 수행할 수 있는 연속적 텐서트레이스 분해의 연속적 해석인 Function-Train(FT)을 소개한다. 주요 기여는 이산적 텐서화 없이도 복잡한 함수의 효율적이고 낮은 랭크 표현을 가능하게 하는 연속적 행렬 분해 및 크로스근사 프레임워크를 제공하는 것이다.

ABSTRACT

We describe a new nonparametric function approximation framework based on a extension of the tensor-train decomposition. The approximation, termed a function-train (FT), results in a tensor-train structure whose cores are univariate functions of each variable. An advantage of the FT over discrete approaches is that it produces an adaptive approximation of tensor fibers that is not tied to any tensorized discretization procedure. Furthermore, the representation of low-rank functions in FT format enables efficient computation: we can add, multiply, integrate, and differentiate functions in polynomial time with respect to dimension. Our approach is in the spirit of other computation packages such as Chebfun, and yields an algorithm which requires the computation of continuous matrix factorizations such as the LU and QR decompositions of vector-valued functions. Our contributions include creating a maxvol algorithm for finding the maximum volume submatrix of a matrix-valued function. We also introduce a maxvol cross-approximation algorithm to obtain skeleton decompositions of vector-valued functions, a cross-approximation algorithm for converting black-box functions into FT format, and a rounding algorithm that re-approximates an FT by an FT of lower ranks. We demonstrate the benefits of our approach by integrating high dimensional and discontinuous functions. We also show how the algorithm performs on a variety of approximation tasks.

연구 동기 및 목표

• 이산적 텐서화된 이산화를 피하는 비모수적 함수 근사 프레임워크를 개발하는 것.
• 연속적 낮은 랭크 표현을 통해 다변수 함수의 효율적 계산을 가능하게 하는 것.
• 일변수 함수 코어를 사용하여 텐서트레이스 개념을 연속 함수로 확장하는 것.
• 차원에 대해 다항시간에 통합, 미분, 산술 연산을 수행할 수 있도록 하는 것.
• 벡터값 함수의 행렬 분해를 사용하여 Chebfun 유사 환경을 제공하는 연속 함수 대수를 구현하는 것.

제안 방법

• 각 코어가 한 변수의 일변수 함수인 다변수 함수를 텐서트레이스 구조로 표현하는 것.
• 벡터값 함수에 대한 연속적 행렬 분해(예: LU 및 QR 분해)를 사용하여 함수트레이스 형식을 구성하는 것.
• 근사 정확도를 향상시키기 위해 매트릭스값 함수에서 최대 체적 부분행렬을 선택하기 위한 maxvol 알고리즘을 개발하는 것.
• 벡터값 함수의 스켈레톤 분해를 계산하기 위해 maxvol 크로스근사 알고리즘을 도입하는 것.
• 블랙박스 함수를 낮은 랭크 근사로 변환하여 FT 형식으로 변환하기 위한 크로스근사 알고리즘을 설계하는 것.
• 정확도를 유지하면서 FT의 랭크를 낮게 재근사하기 위한 라운딩 알고리즘을 구현하는 것.

실험 결과

연구 질문

• RQ1 텐서트레이스 분해는 어떻게 이산화되지 않은 다변수 연속 함수로 확장될 수 있는가?
• RQ2 함수트레이스 구축을 지원하기 위해 필요한 연속적 행렬 분해의 해석(예: LU, QR)은 무엇인가?
• RQ3 maxvol 기반 샘플링은 매트릭스값 함수에 어떻게 적응시켜 함수 근사 정확도를 향상시킬 수 있는가?
• RQ4 함수트레이스 형식에서 통합 및 미분과 같은 연산은 얼마나 효율적으로 수행될 수 있는가?
• RQ5 블랙박스 함수는 얼마나 낮은 랭크 구조로 함수트레이스 형식으로 변환될 수 있는가?

주요 결과

• 함수트레이스 형식은 고정 격자 구조에 의존하지 않고 텐서 피버의 적응형 비이산 근사가 가능하다.
• 덧셈, 곱셈, 통합, 미분과 같은 함수 연산은 차원에 대해 다항시간에 계산 가능하다.
• 매트릭스값 함수용 maxvol 알고리즘이 함수트레이스 프레임워크 내 스켈레톤 분해의 정확도를 향상시킨다.
• 크로스근사 알고리즘이 블랙박스 함수를 제어 가능한 랭크와 정확도로 FT 형식으로 성공적으로 변환한다.
• 라운딩 알고리즘이 정확도를 유지하면서 FT의 랭크를 효과적으로 감소시켜 효율적인 저장 및 계산을 가능하게 한다.
• 이 프레임워크는 고차원성과 비연속성에 뛰어난 성능을 보이며, 강건성과 확장성의 타당성을 입증한다.