[論文レビュー] Co-word Maps and Topic Modeling: A Comparison Using Small and Medium-Sized Corpora (n < 1000)

Loet Leydesdorff, Adina Nerghes|arXiv (Cornell University)|Nov 10, 2015

Topic Modeling参考文献 37被引用数 7

ひとこと要約

この論文は、n < 1000 の小規模〜中規模のコーパスにおいて、共語マッピングとトピックモデリングを比較し、両手法が顕著に相関のない結果をもたらすことを発見した。共語マップは明確な意味的コンポーネントの特定を可能にするが、トピックモデルは言語的パターンなどの非意味的類似性を明らかにする。これは、小規模コレクションではトピックモデリングが共語マッピングの代替手段とはならず、大規模な意味的マッピングにはより適している可能性を示唆する。

ABSTRACT

Induced by big data, has become an attractive alternative to mapping co-words in terms of co-occurrences and co-absences using network techniques. Does topic modeling provide an alternative for co-word mapping in research practices using moderately sized document collections? We return to the word/document matrix using first a single text with a strong argument (The Leiden Manifesto) and then upscale to a sample of moderate size (n = 687) to study the pros and cons of the two approaches in terms of the resulting possibilities for making semantic maps that can serve an argument. The results from co-word mapping (using two different routines) versus topic modeling are significantly uncorrelated. Whereas components in the co-word maps can easily be designated, the topic models provide sets of words that are very differently organized. In these samples, the topic models seem to reveal similarities other than semantic ones (e.g., linguistic ones). In other words, topic modeling does not replace co-word mapping in small and medium-sized sets; but the paper leaves open the possibility that topic modeling would work well for the semantic mapping of large sets.

研究の動機と目的

• トピックモデリングが小規模・中規模のドキュメントコレクションにおいて共語マッピングの実用的代替手段として機能するかどうかを評価すること。
• 中規模コーパス（n = 687）において、トピックモデルと共語ネットワークの意味的整合性および解釈可能性を評価すること。
• トピックモデルが小規模〜中規模のテキストコレクションにおいて、意味的関係の他に、言語的要因などの他の潜在的パターンを明らかにするかどうかを調査すること。
• トピックモデリングが意味的マッピングにおいて共語マッピングを上回る条件を特定すること。

提案手法

• 意味的基準として強い論説的テキスト（The Leiden Manifesto）から単一の語／ドキュメント行列を構築し、ベースラインを確立した。
• 687件のドキュメントのサンプルにスケールアップし、共起と共不在に基づく2つの異なるルーチンを用いて共語マッピングを分析した。
• 同じコーパスにトピックモデリング手法を適用し、ドキュメント間のトピック分布を生成した。
• 相関分析を用いて、共語マッピングとトピックモデリングから得られた意味的マップを比較した。
• 共語マップのコンポーネントとトピックモデルのトピックが意味的に明確にラベル付け可能かどうかを評価することで、解釈可能性を検証した。
• 定性的な検査を通じて、トピックモデル出力に非意味的要因（例：言語的特徴）が関与している可能性を検討した。

実験結果

リサーチクエスチョン

• RQ1 トピックモデリングは、小規模・中規模のコーパス（n < 1000）において、共語マッピングを効果的に再現または代替できるか？
• RQ2 共語マッピングが特定する意味的コンポーネントと、トピックモデリングが生成するトピックは、解釈可能性および整合性の観点からどのように比較できるか？
• RQ3 トピックモデルにおける語のクラスタは、主に意味的類似性によって駆動されているのか、それとも言語的パターンなどの他の要因によって駆動されているのか？
• RQ4 中規模ドキュメントコレクションにおいて、共語マッピングとトピックモデリングの結果はどの程度相関しているか？
• RQ5 どのような条件下で、トピックモデリングが意味的マッピングにおいて共語マッピングを上回る可能性があるか？

主な発見

• 共語マッピングとトピックモデリングの結果は顕著に相関がなく、両手法が主に異なる意味的構造を生成していることを示している。
• 共語マップは明確で解釈可能な意味的コンポーネントの特定を可能にしたが、トピックモデルは言語的パターンなどの非意味的要因によって語の集合が整理されていることを示した。
• トピックモデルは主に意味的類似性ではなく、他の要因によって生じる類似性を明らかにした。これは、小規模〜中規模のコーパスにおいて、潜在的な交絡要因が存在する可能性を示唆する。
• 本研究では、トピックモデリングが小規模・中規模のコーパスにおいて意味的関係を信頼性高く捉えている証拠は得られなかった。
• 小規模コレクションでは限界があるものの、本論文は、極めて大規模なデータセットではトピックモデリングが意味的マッピングにおいてより優れた性能を発揮する可能性を残している。