[論文レビュー] Topic Modelling of Empirical Text Corpora: Validity, Reliability, and Reproducibility in Comparison to Semantic Maps

Tobias Hecking, Loet Leydesdorff|arXiv (Cornell University)|Jun 4, 2018

Computational and Text Analysis Methods参考文献 20被引用数 6

ひとこと要約

本研究では、6,638件のResearch Excellence Framework (REF 2014) ケース記述に対して、Latent Dirichlet Allocation (LDA) トピックモデリングとPrincipal Component Analysis (PCA) を比較し、LDA がデータの摂動に対してより感受性が高く、より高い意味的整合性を示すことが判明した。結果は、LDA の統計的不安定性を浮き彫りにし、意味的解釈に直接使用する際には、意味的マップによるドメイン特化の検証が不可欠であることを警告している。

ABSTRACT

Using the 6,638 case descriptions of societal impact submitted for evaluation in the Research Excellence Framework (REF 2014), we replicate the topic model (Latent Dirichlet Allocation or LDA) made in this context and compare the results with factor-analytic results using a traditional word-document matrix (Principal Component Analysis or PCA). Removing a small fraction of documents from the sample, for example, has on average a much larger impact on LDA than on PCA-based models to the extent that the largest distortion in the case of PCA has less effect than the smallest distortion of LDA-based models. In terms of semantic coherence, however, LDA models outperform PCA-based models. The topic models inform us about the statistical properties of the document sets under study, but the results are statistical and should not be used for a semantic interpretation - for example, in grant selections and micro-decision making, or scholarly work-without follow-up using domain-specific semantic maps.

研究の動機と目的

• LDAを用いたトピックモデリングの妥当性、信頼性、再現可能性を、実証的テキストコーパスに対して評価すること。
• LDAベースのトピックモデルとPCAベースの要因分析モデルの安定性および意味的整合性の観点から比較すること。
• 微小なデータ摂動（例：ドキュメントの削除）がモデルの安定性に与える影響を評価すること。
• LDAの結果が、補助的なドメイン知識なしに意味的に意味のある解釈が可能かどうかを調査すること。
• 学術的および評価的意思決定の文脈において、LDAの出力を妥当に解釈するために意味的マップを活用すべきであると提言すること。

提案手法

• 6,638件のREF 2014社会的インパクトケース記述からなるコーパスに対して、Latent Dirichlet Allocation (LDA) を適用すること。
• 従来の単語-ドキュメント行列を用いたPrincipal Component Analysis (PCA) を、比較的要因分析手法として用いること。
• モデルの感度と安定性をテストするために、少数のドキュメントを体系的に削除すること。
• 標準的な意味的整合性指標を用いて、トピックモデルの整合性を評価すること。
• LDAとPCAの両モデルにおけるデータ摂動下でのモデル歪みを比較すること。
• ドメイン特化の意味的マップを統合し、LDAの結果を検証および解釈すること。

実験結果

リサーチクエスチョン

• RQ1 少数のドキュメントを削除することは、LDAモデルとPCAモデルの両方にどのような影響を及えるか？
• RQ2 LDAベースのトピックモデルは、PCAベースの要因モデルに比べて、相対的にどの程度意味的整合性が高いか？
• RQ3 LDAの結果は、微小なデータ摂動に対してどの程度再現可能か？
• RQ4 LDAの出力は、助成金選定のような高リスク意思決定において、信頼性を持って意味的解釈に使用できるか？
• RQ5 意味的マップは、実証的テキストコーパスにおけるトピックモデリングの結果の妥当性をどのように向上させるか？

主な発見

• LDAモデルはPCAモデルに比べて顕著に高いデータ摂動感受性を示し、最小のLDA歪みでさえ、最大のPCA歪みを上回っている。
• 安定性が低いにもかかわらず、LDAモデルはPCAベースのモデルに比べてより高い意味的整合性スコアを達成している。
• LDAの結果は統計的に駆動されており、追加の意味的検証なしには本質的に解釈可能ではない。
• 微小なドキュメントの省略がLDAの結果に顕著に影響を及ぼし、マイクロ意思決定における信頼性を損なう。
• 意味的マップは、特に学術的および評価的文脈において、LDAの結果をドメイン特化された意味に根拠づけるために不可欠である。
• 本研究は、専門家主導の意味的マップによるフォローアップが行われない限り、LDAの出力を直接意味的解釈に使用すべきでないと警告している。