[논문 리뷰] Tensor Reconstruction Beyond Constant Rank

Shir Peleg, Amir Shpilka외 1명|arXiv (Cornell University)|2022. 09. 09.

Complexity and Algorithms in Graphs인용 수 3

한 줄 요약

이 논문은 깊이 3 산술 회로에서 초수상수 랭크를 갖는 경우에 대해 처음으로 효율적인 재구성 알고리즘을 제시한다. 특히 Σ[k]V[d]Σ, 다중선형 Σ[k]∏[d]Σ, 그리고 집합-다중선형 Σ[k]∏[d]Σ 회로에 대해 적용된다. 이는 이전 연구에서 k에 대해 지수적 증가가 발생했던 것을 피하기 위해, 랭크 유지 좌표 부분공간을 학습하는 새로운 기법을 도입함으로써 달성된다. 이로 인해 결정론적 및 비결정론적 알고리즘 모두가 개선된 실행 시간, 즉 poly(n, d, c) · poly(k)kk10 및 poly(n, d, c) · kkkkO(k)을 확보하게 된다.

ABSTRACT

We give reconstruction algorithms for subclasses of depth-3 arithmetic circuits. In particular, we obtain the first efficient algorithm for finding tensor rank, and an optimal tensor decomposition as a sum of rank-one tensors, when given black-box access to a tensor of super-constant rank. Specifically, we obtain the following results: 1) A deterministic algorithm that reconstructs polynomials computed by Σ^{[k]}⋀^{[d]}Σ circuits in time poly(n,d,c) ⋅ poly(k)^{k^{k^{10}}}, 2) A randomized algorithm that reconstructs polynomials computed by multilinear Σ^{[k]}∏^{[d]}Σ circuits in time poly(n,d,c) ⋅ k^{k^{k^{k^{O(k)}}}}, 3) A randomized algorithm that reconstructs polynomials computed by set-multilinear Σ^{[k]}∏^{[d]}Σ circuits in time poly(n,d,c) ⋅ k^{k^{k^{k^{O(k)}}}}, where c = log q if 𝔽 = 𝔽_q is a finite field, and c equals the maximum bit complexity of any coefficient of f if 𝔽 is infinite. Prior to our work, polynomial time algorithms for the case when the rank, k, is constant, were given by Bhargava, Saraf and Volkovich [Vishwas Bhargava et al., 2021]. Another contribution of this work is correcting an error from a paper of Karnin and Shpilka [Zohar Shay Karnin and Amir Shpilka, 2009] (with some loss in parameters) that also affected Theorem 1.6 of [Vishwas Bhargava et al., 2021]. Consequently, the results of [Zohar Shay Karnin and Amir Shpilka, 2009; Vishwas Bhargava et al., 2021] continue to hold, with a slightly worse setting of parameters. For fixing the error we systematically study the relation between syntactic and semantic notions of rank of Σ Π Σ circuits, and the corresponding partitions of such circuits. We obtain our improved running time by introducing a technique for learning rank preserving coordinate-subspaces. Both [Zohar Shay Karnin and Amir Shpilka, 2009] and [Vishwas Bhargava et al., 2021] tried all choices of finding the "correct" coordinates, which, due to the size of the set, led to having a fast growing function of k at the exponent of n. We manage to find these spaces in time that is still growing fast with k, yet it is only a fixed polynomial in n.

연구 동기 및 목표

• 랭크 k가 초수상수일 때 깊이 3 산술 회로에 대해 효율적인 재구성 알고리즘을 개발함으로써, 이전에 알려진 상수 랭크의 경우를 넘어서는 것.
• Karnin과 Shpilka (2009) 및 Bhargava, Saraf, 그리고 Volkovich (2021)의 Theorem 1.6에서 발생한 오류를 수정함으로써, 이전 결과의 매개변수 설정에 영향을 미친 문제를 해결함.
• ΣΠΣ 회로에서 문법적 랭크와 의미적 랭크의 체계적 연결 고리를 확립하고, 이에 대응하는 분할 구조를 분석함.
• 좌표 부분공간에 대한 전수 검색을 피하는 새로운 알고리즘 기법을 설계하여, 랭크 유지 좌표 부분공간을 학습함으로써 k에 대한 실행 시간 의존도를 향상시킴.

제안 방법

• 모든 가능한 좌표 집합을 시도하는 기존 방법을 대체하여, 랭크 유지 좌표 부분공간을 학습하는 새로운 기법을 도입함.
• 이 기법을 활용해 Σ[k]V[d]Σ 회로를 결정론적 알고리즘으로 재구성함. 실행 시간은 poly(n, d, c) · poly(k)kk10이다.
• 다중선형 및 집합-다중선형 Σ[k]∏[d]Σ 회로에 대해 비결정론적 접근을 적용하여, 실행 시간을 poly(n, d, c) · kkkkO(k)로 확보함.
• 방향 도함수에 대한 블랙박스 액세스를 활용하고, 히팅 세트를 사용하여 필수 변수와 클러스터 구조를 식별함.
• Berlekamp-Welch 알고리즘을 적용하여 다항식의 일변수 제한을 선을 따라 보간함으로써 클러스터 복구를 가능하게 함.
• 의미적 및 문법적 랭크 분할을 활용하여 재구성 과정을 안내하고 정확성을 보장함.

실험 결과

연구 질문

• RQ1 랭크 k가 초수상수일 때 깊이 3 회로에 대해 효율적인 재구성 알고리즘을 달성할 수 있는가, 즉 상수 랭크의 경우를 넘어서는가?
• RQ2 ΣΠΣ 회로에서 문법적 랭크와 의미적 랭크 사이의 올바른 관계는 무엇이며, 이를 알고리즘적으로 어떻게 활용할 수 있는가?
• RQ3 좌표 부분공간에 대한 전수 검색을 피하는 것으로, 이전 알고리즘에서 k에 대한 지수적 의존도를 줄일 수 있는가?
• RQ4 특히 Karnin과 Shpilka (2009) 및 Bhargava, Saraf, 그리고 Volkovich (2021)의 오류는 어떻게 수정할 수 있으며, 조정된 매개변수로도 핵심 결과가 유지되는가?
• RQ5 집합-다중선형 회로를 구조적 제약 조건을 유지하면서 적절히 학습할 수 있는 재구성 알고리즘을 설계할 수 있는가?

주요 결과

• 논문은 필드 크기 또는 계수 비트 복잡도 c일 때, 실행 시간이 poly(n, d, c) · poly(k)kk10인 Σ[k]V[d]Σ 회로에 대해 처음으로 결정론적 알고리즘을 제시한다.
• 다중선형 및 집합-다중선형 Σ[k]∏[d]Σ 회로에 대해 실행 시간이 poly(n, d, c) · kkkkO(k)인 첫 번째 비결정론적 재구성 알고리즘을 제공한다.
• 저자들은 Karnin과 Shpilka (2009)의 심각한 오류를 수정하고, 그들의 결과와 Bhargava, Saraf, 그리고 Volkovich (2021)의 결과가 약간 더 열악한 매개변수로도 여전히 유효하다는 것을 보여준다.
• 랭크 유지 부분공간을 학습하는 새로운 기법은 k에 대한 실행 시간 의존도를 기존의 지수적 의존도에서 n에 대한 고정 다항식으로 줄였지만, k의 지수는 여전히 크다.
• 알고리즘은 최소 회로를 성공적으로 재구성하고, 랜덤화된 PIT 검사를 통과하여 높은 확률로 정확성을 보장한다.
• 이 방법은 학습된 부분회로가 집합-다중선형 구조를 유지하도록 보장함으로써, 집합-다중선형 회로의 적절한 학습을 가능하게 한다.