[论文解读] Necessary and Sufficient Conditions for Novel Word Detection in Separable Topic Models

Weicong Ding, Prakash Ishwar+2 more|arXiv (Cornell University)|Oct 30, 2013

Topic Modeling参考文献 9被引用 10

一句话总结

本文证明了单纯形条件在可分主题模型中是一致检测新词的充要条件，提出了一种仅依赖于二阶词矩、计算复杂度为二次方的实用随机投影算法，且适用于分布式计算。该方法在单纯形条件下可可靠识别所有主题特异的新词，实现可证明的一致性，样本与计算复杂度均为多项式。

ABSTRACT

The simplicial condition and other stronger conditions that imply it have recently played a central role in developing polynomial time algorithms with provable asymptotic consistency and sample complexity guarantees for topic estimation in separable topic models. Of these algorithms, those that rely solely on the simplicial condition are impractical while the practical ones need stronger conditions. In this paper, we demonstrate, for the first time, that the simplicial condition is a fundamental, algorithm-independent, information-theoretic necessary condition for consistent separable topic estimation. Furthermore, under solely the simplicial condition, we present a practical quadratic-complexity algorithm based on random projections which consistently detects all novel words of all topics using only up to second-order empirical word moments. This algorithm is amenable to distributed implementation making it attractive for 'big-data' scenarios involving a network of large distributed databases.

研究动机与目标

• 确定可分主题模型中一致检测新词所需的基本信息论条件。
• 通过识别在一致性和计算效率均可实现的条件下，弥合理论保证与实际算法之间的差距。
• 开发一种仅依赖于二阶经验矩、适用于分布式计算的实用新词检测算法。
• 证明单纯形条件不仅充分，而且是独立于算法设计的一致新词检测的必要条件。

提出的方法

• 该方法基于对词共现矩阵的随机投影，以识别词向量凸包的极值点，这些极值点在单纯形条件下对应于新词。
• 构建经验词-文档矩阵的缩放行随机版本，并计算中心化协方差类矩阵 $\mathbf{C} = M\widetilde{\mathbf{X}}'\widetilde{\mathbf{X}}^\top$，以捕捉词对之间的关系。
• 对于每个随机方向 $\mathbf{u}_r \sim \mathcal{N}(\mathbf{0}, \mathbf{I}_W)$，算法识别使投影 $\mathbf{C}_i \mathbf{u}_r$ 最大的行（词），并追踪其在 $P$ 次投影中的出现频率。
• 通过邻域约束 $\mbox{Nbd}(i)$ 排除同一主题中的词，确保每主题选择不同的新词。
• 最终新词集合选取为在 $P$ 次投影中最大化频率最高的 $K$ 个词，并通过贪心优化步骤确保主题间的多样性。
• 该算法通过在分布式节点间聚合投影最大值，支持分布式实现。

实验结果

研究问题

• RQ1 单纯形条件是否为可分主题模型中一致新词检测的必要条件？
• RQ2 能否设计一种实用的、低复杂度的算法，在仅满足单纯形条件的前提下实现一致的新词检测？
• RQ3 当与基于随机投影的估计策略结合时，单纯形条件是否足以实现一致检测？
• RQ4 此类算法能否在大规模、去中心化的数据存储环境中高效地实现分布式？

主要发现

• 在归一化相关矩阵 $\mathbf{R}'$ 上的单纯形条件，是可分主题模型中一致新词检测的、与算法无关的信息论必要条件。
• 在单纯形条件下，所提出的随机投影算法在 $M \to \infty$ 且 $P \to \infty$ 时，能一致检测出全部 $K$ 个新词。
• 当 $M$ 和 $P$ 超过 $W$、$\log(1/\delta)$ 以及模型参数（如 $\phi$、$\eta$ 和 $q_\wedge$）的多项式边界时，该算法失败的概率至多为 $\delta$。
• 计算复杂度为 $\mathcal{O}(MNP + WP + K^2)$，在 $M$、$N$ 和 $W$ 上为线性，在 $K$ 上为二次方，因此比以往具有可证明一致性的算法更高效。
• 由于依赖于从随机投影中聚合本地最大值计数，该算法适用于分布式实现。
• 单纯形条件严格弱于满秩和对角占优条件，意味着这些更强的条件并非一致检测所必需。