[論文レビュー] Dynamic Natural Language Processing with Recurrence Quantification Analysis

Rick Dale, Nicholas D. Duran+1 more|arXiv (Cornell University)|Mar 19, 2018

Advanced Text Analysis Techniques参考文献 41被引用数 6

ひとこと要約

この論文は、語の系列を力学的システムとして扱うことで、逐次的なテキスト構造を分析する動的自然言語処理（NLP）手法として、再帰的定量分析（RQA）を導入する。RQAの指標—再帰率、決定性、エントロピー—がn-gramなどの従来のNLP指標と相関することを示し、Gutenbergプロジェクトの8,000件のテキストをジャンル別に分類するのに成功し、R²値は最大0.24に達する。これは、テキストを認知的動的プロセスとして研究するための新しい枠組みを提供する。

ABSTRACT

Writing and reading are dynamic processes. As an author composes a text, a sequence of words is produced. This sequence is one that, the author hopes, causes a revisitation of certain thoughts and ideas in others. These processes of composition and revisitation by readers are ordered in time. This means that text itself can be investigated under the lens of dynamical systems. A common technique for analyzing the behavior of dynamical systems, known as recurrence quantification analysis (RQA), can be used as a method for analyzing sequential structure of text. RQA treats text as a sequential measurement, much like a time series, and can thus be seen as a kind of dynamic natural language processing (NLP). The extension has several benefits. Because it is part of a suite of time series analysis tools, many measures can be extracted in one common framework. Secondly, the measures have a close relationship with some commonly used measures from natural language processing. Finally, using recurrence analysis offers an opportunity expand analysis of text by developing theoretical descriptions derived from complex dynamic systems. We showcase an example analysis on 8,000 texts from the Gutenberg Project, compare it to well-known NLP approaches, and describe an R package (crqanlp) that can be used in conjunction with R library crqa.

研究の動機と目的

• 再帰的定量分析（RQA）を用いて、テキストを動的システムとして分析する概念的・計算的フレームワークを確立すること。
• RQA指標が従来のNLP指標（例：n-gramモデル）と形式的に同等であり、それらを拡張することを示すこと。
• テキストの動的特徴—再帰性、決定性、エントロピー—が、大規模コーパスからの文学ジャンルの分類に利用できることを示すこと。
• word2vecを用いた意味表現へRQAを拡張し、複数モodalの分析を可能にする共同再帰プロット（JRPs）を導入すること。

提案手法

• 語の系列を時系列として扱い、距離閾値内での語の類似度に基づいて再帰を定義することで、RQAを語の系列に適用する。
• 再帰率（RR）、決定性（DET）、エントロピー（ENT）、最大線分長（MAXLINE）、平均線分長（MEANLINE）といった主要なRQA指標を計算し、動的構造を定量化する。
• RQA指標を、rawな語の系列およびword2vec埋め込みから得られる意味的軌道に対して、crqa Rパッケージを用いて計算する。
• 意味的再帰プロット（RPs）は、D次元のword2vecベクトルからの距離行列を計算し、閾値を適用することで再帰を定義することで生成する。
• 複数のRPsを要素ごとの積で合成することで、共同再帰プロット（JRPs）を構築し、構文や意味といった複数のモダリティにおける同時発現分析を可能にする。
• Gutenbergプロジェクトの8,000件のテキストを用いて検証し、RQA特徴量を用いて線形モデルでジャンルを予測する。

実験結果

リサーチクエスチョン

• RQ1 再帰的定量分析（RQA）は、認知的プロセスとしての書かれたテキストの逐次的ダイナミクスをどのように分析できるか？
• RQ2 自然言語処理におけるRQA指標と従来のn-gramモデルとの間には、どのような形式的関係が存在するか？
• RQ3 RQAに基づく動的特徴量は、大規模テキストコーパスからの文学ジャンルを高い精度で分類できるか？
• RQ4 word2vecモデルからの意味表現を用いて、意味的再帰プロット（RPs）を生成し、動的テキスト解析に応用できるか？
• RQ5 共同再帰プロット（JRPs）は、構文や意味といった複数の言語的分析レベルにおける同時パターンを明らかにできるか？

主な発見

• 再帰率（RR）、決定性（DET）、エントロピー（ENT）といったRQA指標は、従来のn-gram統計と強い相関を示し、系列構造の動的解釈を可能にする。
• RQAフレームワークは、Gutenbergプロジェクトの8,000件のテキストをジャンルカテゴリに分類するのに成功し、異なるRQA指標でR²値が0.10から0.24の範囲で変動する。
• word2vec埋め込みから生成された意味的再帰プロット（RPs）は、テキスト内の動的パターンを的確に捉え、意味的軌道におけるRQA分析を可能にする。
• 共同再帰プロット（JRPs）は、構文や意味といった複数の言語的レベルの同時発現を明らかにし、マルチモーダルな動的テキスト解析への新たな道筋を提供する。
• crqaライブラリを基盤に構築されたRパッケージ「crqanlp」により、テキストのエンドツーエンドRQA分析が可能となり、rawな語の系列と意味的埋め込みの両方をサポートする。
• 本研究は、特にDETとENTといったRQAから導出される動的特徴量が、標準的なn-gramモデルでは十分に反映されないテキストの微細な構造的パターンを捉えられることを示した。