[論文レビュー] Tensor Reconstruction Beyond Constant Rank

Shir Peleg, Amir Shpilka+1 more|arXiv (Cornell University)|Sep 9, 2022

Complexity and Algorithms in Graphs被引用数 3

ひとこと要約

本稿では、超定数ランクをもつ深さ3の算術回路に対する、初めての効率的な再構成アルゴリズムを提示する。具体的には、Σ[k]V[d]Σ、多変量Σ[k]∏[d]Σ、および集合多重線形Σ[k]∏[d]Σ回路に対して適用可能である。この成果は、座標部分空間のランク保存性を学習するための新規技術を導入することで達成され、従来の方法で見られたkに関する指数的増大を回避する。決定的および確率的アルゴリズムがそれぞれ、poly(n, d, c) · poly(k)kk10およびpoly(n, d, c) · kkkkO(k)の実行時間で得られる。

ABSTRACT

We give reconstruction algorithms for subclasses of depth-3 arithmetic circuits. In particular, we obtain the first efficient algorithm for finding tensor rank, and an optimal tensor decomposition as a sum of rank-one tensors, when given black-box access to a tensor of super-constant rank. Specifically, we obtain the following results: 1) A deterministic algorithm that reconstructs polynomials computed by Σ^{[k]}⋀^{[d]}Σ circuits in time poly(n,d,c) ⋅ poly(k)^{k^{k^{10}}}, 2) A randomized algorithm that reconstructs polynomials computed by multilinear Σ^{[k]}∏^{[d]}Σ circuits in time poly(n,d,c) ⋅ k^{k^{k^{k^{O(k)}}}}, 3) A randomized algorithm that reconstructs polynomials computed by set-multilinear Σ^{[k]}∏^{[d]}Σ circuits in time poly(n,d,c) ⋅ k^{k^{k^{k^{O(k)}}}}, where c = log q if 𝔽 = 𝔽_q is a finite field, and c equals the maximum bit complexity of any coefficient of f if 𝔽 is infinite. Prior to our work, polynomial time algorithms for the case when the rank, k, is constant, were given by Bhargava, Saraf and Volkovich [Vishwas Bhargava et al., 2021]. Another contribution of this work is correcting an error from a paper of Karnin and Shpilka [Zohar Shay Karnin and Amir Shpilka, 2009] (with some loss in parameters) that also affected Theorem 1.6 of [Vishwas Bhargava et al., 2021]. Consequently, the results of [Zohar Shay Karnin and Amir Shpilka, 2009; Vishwas Bhargava et al., 2021] continue to hold, with a slightly worse setting of parameters. For fixing the error we systematically study the relation between syntactic and semantic notions of rank of Σ Π Σ circuits, and the corresponding partitions of such circuits. We obtain our improved running time by introducing a technique for learning rank preserving coordinate-subspaces. Both [Zohar Shay Karnin and Amir Shpilka, 2009] and [Vishwas Bhargava et al., 2021] tried all choices of finding the "correct" coordinates, which, due to the size of the set, led to having a fast growing function of k at the exponent of n. We manage to find these spaces in time that is still growing fast with k, yet it is only a fixed polynomial in n.

研究の動機と目的

• ランクkが定数でない（超定数）場合の深さ3算術回路に対する、効率的な再構成アルゴリズムの開発。これは、従来の定数ランクに限った場合の拡張である。
• KarninとShpilka（2009）およびBhargava, Saraf, および Volkovich（2021）の定理1.6における誤りを是正すること。この誤りは、先行研究のパrameter設定に影響を及えた。
• ΣΠΣ回路における構文的ランクと意味的ランクの間の体系的関係を、それらに対応する分割構造と結びつけること。
• 座標部分空間のランク保存性を学習するための新しいアルゴリズム的手法を設計し、座標選択の全探索を回避することで、kに依存する実行時間の改善を実現すること。

提案手法

• 座標部分空間のランク保存性を学習するための新規手法を導入し、過去の方法であるすべての可能な座標集合を試行するアプローチに代える。
• この手法を用いて、決定的アルゴリズムによりΣ[k]V[d]Σ回路を再構成し、実行時間はpoly(n, d, c) · poly(k)kk10となる。
• 多変量および集合多重線形Σ[k]∏[d]Σ回路に対しては、確率的アプローチを用い、実行時間はpoly(n, d, c) · kkkkO(k)を達成する。
• 方向微分へのブラックボックスアクセスを活用し、ハッティング集合を用いて重要変数とクラスタ構造を同定する。
• Berlekamp-Welchアルゴリズムを用いて、多項式の1変数制限を直線に沿って補間し、クラスタ回復を可能にする。
• 意味的ランクと構文的ランクの分割を活用して再構成プロセスをガイドし、正しさを保証する。

実験結果

リサーチクエスチョン

• RQ1 ランクkが定数でない（超定数）場合の深さ3回路に対し、効率的な再構成が可能か？
• RQ2 ΣΠΣ回路における構文的ランクと意味的ランクの正しい関係は何か？ そして、これをアルゴリズム的にどのように活用できるか？
• RQ3 座標部分空間の全探索を回避することで、従来のアルゴリズムにおけるkに関する指数的依存を軽減できるか？
• RQ4 KarninとShpilka（2009）およびBhargava, Saraf, および Volkovich（2021）の誤りを、パrameterを調整することで是正しつつ、コアな結果を保持できるか？
• RQ5 集合多重線形構造の制約を保ったまま、適切に学習できる再構成アルゴリズムを設計することは可能か？

主な発見

• 本稿では、cが体のサイズまたは係数のビット複雑性であるとして、poly(n, d, c) · poly(k)kk10の実行時間でΣ[k]V[d]Σ回路を再構成する、初めての決定的アルゴリズムを提示する。
• 多変量および集合多重線形Σ[k]∏[d]Σ回路のための、初めての確率的再構成アルゴリズムを提供し、実行時間はpoly(n, d, c) · kkkkO(k)である。
• KarninとShpilka（2009）における重大な誤りを是正し、その研究およびBhargava, Saraf, および Volkovich（2021）の結果が、わずかに悪いパrameterで依然として成立することを示した。
• ランク保存部分空間を学習する新しい技術により、kに依存する実行時間の依存性をkの指数的増大から、nの固定多項式にまで低下させた（ただし、kの指数部分は依然として大きい）。
• 最小回路が正しく再構成され、高い確率で正しさを保証するための確率的PIT（多項式恒等検査）に合格する。
• 集合多重線形構造の制約を保ったまま、学習された部分回路が正しく構造を維持できることを示した。