[論文レビュー] Smoothed Analysis of Discrete Tensor Decomposition and Assemblies of Neurons

Nima Anari, Constantinos Daskalakis+4 more|arXiv (Cornell University)|Oct 28, 2018

Tensor decomposition and applications参考文献 4被引用数 6

ひとこと要約

本稿は、一般の摂動（離散的を含む）のもとでランク1テンソルの強力な線形独立性を保証する、離散的テンソル分解の滑らかさ解析フレームワークを導入する。これにより、交差測定値からスパースなヴェンン図（神経集合の表現）を効率的に再構成可能であり、ランダム摂動のもとで多項式スケールの測定値で正確な回復が可能であることが示され、先行研究に比べて実行時間と誤差境界が改善されている。

ABSTRACT

We analyze linear independence of rank one tensors produced by tensor powers of randomly perturbed vectors. This enables efficient decomposition of sums of high-order tensors. Our analysis builds upon [BCMV14] but allows for a wider range of perturbation models, including discrete ones. We give an application to recovering assemblies of neurons. Assemblies are large sets of neurons representing specific memories or concepts. The size of the intersection of two assemblies has been shown in experiments to represent the extent to which these memories co-occur or these concepts are related; the phenomenon is called association of assemblies. This suggests that an animal's memory is a complex web of associations, and poses the problem of recovering this representation from cognitive data. Motivated by this problem, we study the following more general question: Can we reconstruct the Venn diagram of a family of sets, given the sizes of their $\ell$-wise intersections? We show that as long as the family of sets is randomly perturbed, it is enough for the number of measurements to be polynomially larger than the number of nonempty regions of the Venn diagram to fully reconstruct the diagram.

研究の動機と目的

• 連続的ノイズモデルに限定されていた先行研究を拡張し、離散的摂動を扱えるテンソル分解の滑らかさ解析フレームワークを開発すること。
• ℓ次交差測定値から、神経集合を表すスパースなヴェンン図を効率的に再構成できることを実現すること。
• 基礎となる集合がランダムに摂動された場合、多項式スケールの測定値で完全なヴェンン図が再構成可能であることを確立すること。
• 確率的集合演算（和、積、差、および確率pでの独立抽出）を用いたソフトモデルを用いて、神経記憶システムにおける関連グラフの表現可能性をモデル化・分析すること。

提案手法

• テンソル分解における線形独立性の解析のためのコアツールとして、ガウスの消去法の高次テンソルへの一般化である「エレボンツリー」を導入する。
• 敵対的に選ばれたテンソルが、ハイパーキューブからの離散的ノイズで摂動される滑らかさ解析のアプローチを採用し、高い確率で強力な線形独立性を保証する。
• ジェニンチのアルゴリズム（チャングの補題）を用いて、摂動されたランク1成分の強力な線形独立性を活用し、高次テンソルの和の分解を実行する。
• 神経集合を、N個のニューロンからなるユニバース内に固定サイズKの集合としてモデル化し、交差が認知的関連性を示すものとする。
• 確率的集合操作（和、積、差、および確率pでの独立抽出）を用いた「ソフトモデル」を提案し、意図した交差閾値が保持される確率を分析する。
• ブロックデザイン理論と集中不等式を含む組合せ論的・確率的技法を用いて、関連グラフの表現可能性条件を導出する。

実験結果

リサーチクエスチョン

• RQ1 入力成分がガウス的ノイズではなく、ハイパーキューブからの離散的ノイズで摂動された場合でも、テンソル分解を効率的に行うことができるか？
• RQ2 集合の族のヴェンン図が、集合がランダムに摂動された場合に、ℓ次交差測定値から完全に再構成可能となる条件は何か？
• RQ3 離散的摂動のもとで、スパースなヴェンン図を高い確率で再構成するために必要な最小の交差測定値の数は何か？
• RQ4 確率的集合操作のみを用いて、神経記憶モデルでどの関連グラフを高い確率で実現できるか？
• RQ5 確率的集合構成を用いたソフトモデルは、神経集合システムにおける複雑な関連グラフの表現可能性にどのように影響を与えるか？

主な発見

• 本稿では、テンソルの次数ℓに対して、実行時間と誤差許容度がn^ℓの多項式的に増加することを示し、先行研究のn^{3^ℓ}依存性に比べ顕著に改善されている。
• ハイパーキューブから抽出された離散的摂動（例：ハイパーキューブからのサンプリング）のもとでも、ランク1テンソルは高い確率で強力に線形独立であり、効率的な分解が可能である。
• 総分散ρ²のガウス的摂動に対して、失敗確率はexp(O(ℓ log n) − Ω(n/ℓ))で抑えられ、Bhaskaraら[3]のexp(−Θ(n^{1/3^ℓ}))の境界よりも指数的に優れている。
• 最大次数が2K/a未満である任意のグラフは、サイズKの集合を用い、N=K²のユニバース内で、関連（a）および非関連（b）の交差閾値を満たすように表現可能である。
• ソフトモデルでは、最大次数が(1/e)·(K/a)未満である任意のグラフを、基本的な確率的集合操作のみで高い確率で実現可能である。
• ブロックデザイン理論と集中不等式を用いた理論的保証により、現実的な計算制約のもとで、複雑な関連グラフが神経記憶システムに埋め込み可能であることが示された。