[论文解读] Feature extraction using Latent Dirichlet Allocation and Neural Networks: A case study on movie synopses

Despoina Christou|arXiv (Cornell University)|Apr 5, 2016

Stock Market Forecasting Methods参考文献 66被引用 3

一句话总结

本文提出了一种结合潜在狄利克雷分配（LDA）与神经网络的混合特征提取方法，用于电影剧情简介分析。结果表明，尽管LDA是一种轻量级模型，其仍能提取出与最先进神经网络文本段嵌入方法相当的高层次有意义特征，通过KNN和t-SNE可视化在CMU电影剧情简介语料库上实现了有效的电影相似性检测与推荐。

ABSTRACT

Feature extraction has gained increasing attention in the field of machine learning, as in order to detect patterns, extract information, or predict future observations from big data, the urge of informative features is crucial. The process of extracting features is highly linked to dimensionality reduction as it implies the transformation of the data from a sparse high-dimensional space, to higher level meaningful abstractions. This dissertation employs Neural Networks for distributed paragraph representations, and Latent Dirichlet Allocation to capture higher level features of paragraph vectors. Although Neural Networks for distributed paragraph representations are considered the state of the art for extracting paragraph vectors, we show that a quick topic analysis model such as Latent Dirichlet Allocation can provide meaningful features too. We evaluate the two methods on the CMU Movie Summary Corpus, a collection of 25,203 movie plot summaries extracted from Wikipedia. Finally, for both approaches, we use K-Nearest Neighbors to discover similar movies, and plot the projected representations using T-Distributed Stochastic Neighbor Embedding to depict the context similarities. These similarities, expressed as movie distances, can be used for movies recommendation. The recommended movies of this approach are compared with the recommended movies from IMDB, which use a collaborative filtering recommendation approach, to show that our two models could constitute either an alternative or a supplementary recommendation approach.

研究动机与目标

• 探索轻量级主题建模方法（如LDA）是否能从电影剧情简介中提取出有意义的高层次特征。
• 比较LDA与基于神经网络的文本段嵌入在捕捉电影剧情语义相似性方面的性能。
• 评估两种方法在基于K近邻（KNN）和t-SNE可视化技术识别相似电影方面的有效性。
• 评估基于LDA的特征作为协同过滤在电影推荐系统中的一种替代或补充方法的潜力。
• 验证降维与分布式表示在利用自然语言数据提升推荐准确率方面的实用性。

提出的方法

• 利用潜在狄利克雷分配（LDA）从电影剧情简介文本中提取主题级特征，将每条剧情简介建模为多个主题的混合。
• 采用基于神经网络的模型（如分布式文本段表示）生成电影剧情简介的稠密向量表示。
• 应用K近邻（KNN）算法，基于LDA与神经网络生成的向量表示识别相似电影。
• 使用t分布随机邻域嵌入（t-SNE）在低维空间中可视化并解释电影表示之间的语义相似性。
• 使用包含25,203条基于维基百科的电影剧情简介的CMU电影剧情简介语料库评估模型性能。
• 将所得推荐结果与IMDB的协同过滤系统结果进行比较，以评估相对有效性。

实验结果

研究问题

• RQ1 潜在狄利克雷分配（LDA）能否有效从电影剧情简介中提取出与神经网络方法相当的高层次、有意义的特征？
• RQ2 LDA生成的特征与神经网络生成的文本段嵌入在捕捉电影剧情语义相似性方面表现如何？
• RQ3 LDA生成的表示在多大程度上可通过KNN和可视化技术支持准确的电影推荐？
• RQ4 LDA能否作为依赖文本数据的推荐系统中深度学习的可行替代或补充方法？
• RQ5 LDA与神经网络生成的投影表示在语境相似性与聚类模式方面有何差异？

主要发现

• LDA成功从电影剧情简介中捕捉到高层次的语义特征，表明主题建模可在无需深度学习的情况下生成有意义的抽象表示。
• 基于LDA的方法生成了连贯且可解释的主题分布，能够反映电影剧情中的主题内容。
• 基于神经网络的文本段嵌入在识别相似电影方面相比LDA表现出更高的准确性，这一结论基于KNN检索性能的度量。
• t-SNE可视化显示，两种方法均能产生有意义的相似电影聚类，其中神经网络生成的聚类更为清晰且紧凑。
• 基于LDA的模型在语境相似性检测方面表现相当，并为推荐任务提供了一种轻量级替代深度学习的方案。
• 结果表明，LDA可作为混合推荐系统中的宝贵补充方法，尤其在计算效率至关重要的场景中。