[论文解读] Incremental dimension reduction of tensors with random index

Fredrik Sandin, Blerim Emruli+1 more|arXiv (Cornell University)|Mar 18, 2011

Tensor decomposition and applications参考文献 27被引用 8

一句话总结

该论文提出N路随机索引（N-way Random Indexing, NRI），一种新颖的增量式、可扩展且高效的张量降维技术，采用稀疏随机线性编码。该方法支持在线编码与解码，无需重新处理数据，可动态扩展张量索引，且在高维空间（n > 10³）下保持高精度，信噪比性能在约1000维的临界维度阈值以上保持稳定。

ABSTRACT

We present an incremental, scalable and efficient dimension reduction technique for tensors that is based on sparse random linear coding. Data is stored in a compactified representation with fixed size, which makes memory requirements low and predictable. Component encoding and decoding are performed on-line without computationally expensive re-analysis of the data set. The range of tensor indices can be extended dynamically without modifying the component representation. This idea originates from a mathematical model of semantic memory and a method known as random indexing in natural language processing. We generalize the random-indexing algorithm to tensors and present signal-to-noise-ratio simulations for representations of vectors and matrices. We present also a mathematical analysis of the approximate orthogonality of high-dimensional ternary vectors, which is a property that underpins this and other similar random-coding approaches to dimension reduction. To further demonstrate the properties of random indexing we present results of a synonym identification task. The method presented here has some similarities with random projection and Tucker decomposition, but it performs well at high dimensionality only (n>10^3). Random indexing is useful for a range of complex practical problems, e.g., in natural language processing, data mining, pattern recognition, event detection, graph searching and search engines. Prototype software is provided. It supports encoding and decoding of tensors of order >= 1 in a unified framework, i.e., vectors, matrices and higher order tensors.

研究动机与目标

• 开发一种用于张量的增量式、内存高效的降维方法，避免在新增数据时进行代价高昂的重新分析。
• 将此前仅用于自然语言处理中向量的随机索引方法推广至矩阵和更高阶张量，并在统一框架下实现泛化。
• 在不修改组件表示或秩的情况下，实现张量索引范围的动态扩展。
• 分析高维三元向量的近似正交性，这是该方法信噪比性能的基础性质。
• 在真实任务（如同义词识别和向量与矩阵表示中的信噪比）上评估该方法的性能。

提出的方法

• 该方法使用稀疏随机线性编码，结合取值为{-1, 0, +1}的三元索引向量，将张量分量投影到固定大小的紧凑表示中。
• 通过随机索引向量在线执行组件编码，实现无需重新处理整个数据集的增量更新。
• 通过使用相同索引向量将编码后的张量反投影，实现解码，从而以高概率恢复特征。
• 通过统一的数学公式，将随机索引方法推广至N路张量（向量、矩阵及更高阶张量）。
• 该方法依赖于高维三元向量的近似正交性，从而减少各分量间的干扰。
• 一个原型软件库（RITensor）在单一框架中支持阶数≥1的张量的编码与解码。

实验结果

研究问题

• RQ1 在N路随机索引中，解码特征的信噪比如何随索引向量维度的变化而变化？
• RQ2 索引向量密度（非零三元组数量）对张量表示的准确性和干扰程度有何影响？
• RQ3 在相同参数条件下，两路随机索引（用于矩阵）与一路索引（用于向量集合）的性能有何差异？
• RQ4 NRI的性能在何种维度阈值下趋于稳定？该阈值如何影响解码特征的标准差？
• RQ5 当特征幅值差异显著时，NRI能否在低信噪比的非稀疏张量表示中保持高精度？

主要发现

• 当维度超过约n = 1000的临界阈值后，正确解码特征的平均数量保持稳定，且不再随维度进一步增加而变化。
• 随着维度增加，正确解码特征的标准差显著降低，表明在高维空间中性能更加一致。
• 当索引向量中非零三元组数量从2增加到4时，性能有明显提升，但超过8个后进一步增加带来的增益微乎其微。
• 在相同参数条件下，一路随机索引（用于向量）的信噪比高于两路索引（用于矩阵），原因在于干扰更小。
• 该方法可在不修改组件表示的情况下实现张量索引范围的动态扩展，支持可扩展且增量式的处理。
• 只要显著特征比背景噪声强一个数量级以上，该方法对非稀疏表示也具有鲁棒性。