[论文解读] Dynamic Natural Language Processing with Recurrence Quantification Analysis

Rick Dale, Nicholas D. Duran+1 more|arXiv (Cornell University)|Mar 19, 2018

Advanced Text Analysis Techniques参考文献 41被引用 6

一句话总结

本文将递归量化分析（RQA）作为一种动态自然语言处理（NLP）方法，通过将词序列视为动力系统，分析序列文本结构。研究表明，RQA度量（如递归率、确定性与熵）与传统NLP指标（如n-gram）存在相关性，并成功利用R²值最高达0.24对古腾堡计划的8,000篇文本按体裁分类，为将文本视为认知动力过程提供了新框架。

ABSTRACT

Writing and reading are dynamic processes. As an author composes a text, a sequence of words is produced. This sequence is one that, the author hopes, causes a revisitation of certain thoughts and ideas in others. These processes of composition and revisitation by readers are ordered in time. This means that text itself can be investigated under the lens of dynamical systems. A common technique for analyzing the behavior of dynamical systems, known as recurrence quantification analysis (RQA), can be used as a method for analyzing sequential structure of text. RQA treats text as a sequential measurement, much like a time series, and can thus be seen as a kind of dynamic natural language processing (NLP). The extension has several benefits. Because it is part of a suite of time series analysis tools, many measures can be extracted in one common framework. Secondly, the measures have a close relationship with some commonly used measures from natural language processing. Finally, using recurrence analysis offers an opportunity expand analysis of text by developing theoretical descriptions derived from complex dynamic systems. We showcase an example analysis on 8,000 texts from the Gutenberg Project, compare it to well-known NLP approaches, and describe an R package (crqanlp) that can be used in conjunction with R library crqa.

研究动机与目标

• 建立一个基于递归量化分析（RQA）的文本动态系统分析概念与计算框架。
• 证明RQA度量在形式上等价于并扩展了传统的NLP指标，如n-gram模型。
• 表明文本的动态特征（如递归性、确定性与熵）可用于从大规模语料库中对文学体裁进行分类。
• 将RQA扩展至基于word2vec的语义表征，并通过联合递归图（JRPs）实现多模态分析。

提出的方法

• 通过将词序列视为时间序列，将递归定义为在距离阈值内的词相似性，将RQA应用于词序列。
• 计算关键RQA度量——递归率（RR）、确定性（DET）、熵（ENT）、最大线段长度（MAXLINE）与平均线段长度（MEANLINE）——以量化动态结构。
• 使用crqa R包在原始词序列及基于word2vec嵌入生成的语义轨迹上计算RQA度量。
• 通过计算D维word2vec向量的距离矩阵并应用阈值定义递归性，生成语义递归图（RPs）。
• 通过多个RPs的逐元素相乘构建联合递归图（JRPs），实现对句法与语义等多模态的共现分析。
• 在古腾堡计划的8,000篇文本上验证该方法，使用RQA特征通过线性模型预测体裁。

实验结果

研究问题

• RQ1 如何将递归量化分析（RQA）适配于分析书面文本的序列动力学，作为认知过程？
• RQ2 RQA度量与自然语言处理中传统n-gram模型之间存在何种形式关系？
• RQ3 基于RQA的动态特征能否以高准确率对大规模文本语料库中的文学体裁进行分类？
• RQ4 如何利用word2vec模型的语义表征生成语义递归图（RPs）以实现动态文本分析？
• RQ5 联合递归图（JRPs）能否揭示句法与语义等多个语言分析层级的共现模式？

主要发现

• RQA度量（如递归率（RR）、确定性（DET）与熵（ENT））与传统n-gram统计量表现出强相关性，为序列结构提供了动态重释。
• RQA框架成功将古腾堡计划的8,000篇文本分类至体裁类别，不同RQA度量的R²值范围为0.10至0.24。
• 基于word2vec嵌入生成的语义递归图（RPs）成功捕捉了文本中的动态模式，使语义轨迹的RQA分析成为可能。
• 联合递归图（JRPs）揭示了多个语言分析层级（如句法与语义）的共现模式，为多模态动态文本分析开辟了新路径。
• 基于crqa库构建的R包crqanlp支持从原始词序列到语义嵌入的端到端RQA分析。
• 本研究表明，源自RQA的动态特征（尤其是DET与ENT）捕捉了标准n-gram模型未能完全反映的文本细微结构模式。