[论文解读] Distinguishing Fact from Fiction: Pattern Recognition in Texts Using Complex Networks

J. T. Stevanak, Lincoln D. Carr+1 more|arXiv (Cornell University)|Jul 15, 2010

Complex Network Analysis Techniques参考文献 1被引用 5

一句话总结

本文提出一种基于复杂网络的方法，通过将文本建模为无向、无权的语义网络（其中词语为节点，固定词距（m）内的词语之间建立边），以区分虚构小说与非虚构新闻文章。利用幂律度分布和聚类分布等网络度量，结合线性判别分析，该方法在 m=4 时对小说的分类准确率达 73.8%，对新闻文章达 69.1%，且在 100–200 个词的文本长度下可实现可靠分类。

ABSTRACT

We establish concrete mathematical criteria to distinguish between different kinds of written storytelling, fictional and non-fictional. Specifically, we constructed a semantic network from both novels and news stories, with $N$ independent words as vertices or nodes, and edges or links allotted to words occurring within $m$ places of a given vertex; we call $m$ the word distance. We then used measures from complex network theory to distinguish between news and fiction, studying the minimal text length needed as well as the optimized word distance $m$. The literature samples were found to be most effectively represented by their corresponding power laws over degree distribution $P(k)$ and clustering coefficient $C(k)$; we also studied the mean geodesic distance, and found all our texts were small-world networks. We observed a natural break-point at $k=\sqrt{N}$ where the power law in the degree distribution changed, leading to separate power law fit for the bulk and the tail of $P(k)$. Our linear discriminant analysis yielded a $73.8 \pm 5.15%$ accuracy for the correct classification of novels and $69.1 \pm 1.22%$ for news stories. We found an optimal word distance of $m=4$ and a minimum text length of 100 to 200 words $N$.

研究动机与目标

• 开发一种基于复杂网络理论的数学框架，用于区分虚构叙事与非虚构报道。
• 探究语义网络中的结构差异是否能可靠地将文本分类为虚构或非虚构。
• 确定实现准确分类所需的最小文本长度及最优词距（m）。
• 评估基于网络的特征与更简单的统计方法（如齐普夫定律）相比的性能表现。
• 证明复杂网络度量相较于基础词频分析可提供更高的分类准确率。

提出的方法

• 从文本样本构建无向、无权的语义网络，每个独立词语作为节点。
• 若两词语在 m 个词以内出现，则在对应节点之间建立边，其中 m 在 1–10 范围内进行优化。
• 计算关键复杂网络度量：度分布 P(k)、聚类系数 C(k) 及平均最短路径距离。
• 在度分布中识别出 k=√N 处的自然断点，分别对主体部分与尾部进行幂律拟合。
• 应用费希尔的线性判别分析，基于网络特征对未知文本进行分类，并使用自助法进行误差估计。
• 将该方法的性能与基于词频分布的齐普夫定律基准方法进行对比。

实验结果

研究问题

• RQ1 复杂网络度量是否能有效区分虚构小说与非虚构新闻文章中的语义结构？
• RQ2 使虚构与非虚构文本分类准确率最大化的最优词距（m）是多少？
• RQ3 在何种最小文本长度下，语义网络的结构差异可被可靠检测并用于分类？
• RQ4 基于网络的分类性能与传统统计方法（如齐普夫定律）相比如何？
• RQ5 虚构与非虚构文本中，度分布与聚类分布的幂律指数是否存在显著差异？

主要发现

• 分类的最优词距为 m=4，小说分类准确率达 73.8%，新闻文章达 69.1%。
• 在 100–200 个词的文本长度下，分类准确率稳定可靠，性能在约 200 个词时达到峰值。
• 在度分布中 k=√N 处存在自然断点，导致 P(k) 的主体与尾部分别呈现不同的幂律拟合。
• 聚类系数 C(k) 同样表现出幂律行为，且虚构与非虚构文本的幂律指数存在差异。
• 平均最短路径距离证实所有文本均构成小世界网络，这是稳定的拓扑特征。
• 基于网络的方法显著优于基准的词频分析方法（小说为 48.8%，新闻为 58.4%），后者的准确率接近或低于随机水平。