[论文解读] An Incidence Geometry approach to Dictionary Learning

Meera Sitharam, Mohamad Tarifi+1 more|arXiv (Cornell University)|Feb 28, 2014

Sparse and Compressive Sensing Techniques参考文献 23被引用 3

一句话总结

本文提出了一种用于拟合字典学习的关联几何框架，将稀疏表示建模为子空间构型，并利用组合刚性理论刻画能生成有限、局部唯一字典的超图结构。关键贡献是一条刚性类型定理，识别出使解集有限的底层超图结构的必要和充分条件，从而在常数 $d$ 和 $s$ 条件下实现一个可证明高效的 $O(m)$ 算法。

ABSTRACT

We study the Dictionary Learning (aka Sparse Coding) problem of obtaining a sparse representation of data points, by learning \emph{dictionary vectors} upon which the data points can be written as sparse linear combinations. We view this problem from a geometry perspective as the spanning set of a subspace arrangement, and focus on understanding the case when the underlying hypergraph of the subspace arrangement is specified. For this Fitted Dictionary Learning problem, we completely characterize the combinatorics of the associated subspace arrangements (i.e.\ their underlying hypergraphs). Specifically, a combinatorial rigidity-type theorem is proven for a type of geometric incidence system. The theorem characterizes the hypergraphs of subspace arrangements that generically yield (a) at least one dictionary (b) a locally unique dictionary (i.e.\ at most a finite number of isolated dictionaries) of the specified size. We are unaware of prior application of combinatorial rigidity techniques in the setting of Dictionary Learning, or even in machine learning. We also provide a systematic classification of problems related to Dictionary Learning together with various algorithms, their assumptions and performance.

研究动机与目标

• 通过关联几何与子空间构型的视角，对拟合字典学习进行理论分析。
• 刻画保证稀疏表示中字典有限且局部唯一的超图组合结构。
• 在一般几何与组合条件下，开发一个可证明高效的字典学习算法。
• 对字典学习中的相关问题进行分类，并比较算法、假设与性能表现。
• 在数据点随机采样时，建立字典大小的理论下界。

提出的方法

• 将拟合字典学习问题表述为非线性代数系统 $(H, X)(D)$，其中 $H$ 是子空间构型的底层超图。
• 通过框架的刚性矩阵进行线性化，采用 Asimow 和 Roth 的方法分析无穷小刚性。
• 利用 White 和 Whiteley 的组合刚性理论，推导出超图 $H(S_{X,D})$ 的 $(d-1,0)$-紧致性条件，以保证一般情况下的有限解。
• 设计一种改进的石子游戏算法，用于构建 $(d-1,0)$-紧致超图，同时对边的重数和石子移动施加约束。
• 通过求解固定代数系统来构建 $s$-子空间构型 $S_{X,D}$：首先在基集 $X_0$ 上求解，然后在大小为 $d-1$ 的 $X_i$ 上迭代求解。
• 使用代数系统求解方法求解每个子系统 $(H_0, X_0)(D_0)$ 和 $(B_i, X_i)(D_i)$，并将解组合成完整的字典 $D$。

实验结果

研究问题

• RQ1 哪些子空间构型上的超图结构能保证字典学习问题具有有限数量的解？
• RQ2 关联结构上的哪些组合条件能确保稀疏编码中字典的局部唯一性？
• RQ3 能否基于几何刚性原理构建一个可证明高效的字典学习算法？
• RQ4 当数据点以一般方式采样时，字典大小与数据点数量及稀疏度之间有何关系？
• RQ5 在推导出的组合与几何约束下，构造字典的计算复杂度是多少？

主要发现

• 证明了一条组合刚性类型定理：超图 $H(S_{X,D})$ 一般情况下仅当且仅当其为 $(d-1,0)$-紧致时，才生成有限数量的字典。
• 该算法在 $O\big(s^2(|V_0| + (d-s)) \binom{|V_0| + (d-s)}{s}\big)$ 时间内构建底层超图，当 $d$ 和 $s$ 为常数时，该时间简化为 $O(m)$。
• 通过在每一步求解常规模代数系统，实现了 $s$-子空间构型与字典 $D$ 的构建，总时间复杂度为 $O(m)$。
• 由于在一般固定条件下刚性矩阵满秩，每个固定子系统 $(H_0, X_0)(D_0)$ 和 $(B_i, X_i)(D_i)$ 一般情况下均有解。
• 由于各步构造相互独立，任意选择每一步的解均可保证生成有效且全局一致的字典 $D$。
• 该框架在数据点均匀随机采样时，提供了字典大小的下界，该下界源于 $(d-1,0)$-紧致性的必要性。