[論文レビュー] Topic Modeling Using Distributed Word Embeddings

Ramandeep S. Randhawa, Parag Jain+1 more|arXiv (Cornell University)|Mar 15, 2016

Topic Modeling参考文献 25被引用数 4

ひとこと要約

この論文では、高次元分散語表現を活用して、ユーザ生成コンテンツおよび非ユーザ生成コンテンツのキーワードが散らばっており文脈語に囲まれている場合でも、キーポイントを効果的に特定できる非教師ありトピックモデリング手法であるVec2Topicを提案する。深さ（意味的クラスタ密度）と次数（共起頻度）のスコアを組み合わせることで、特にキーワードが散らばっており文脈語に埋もれているメールやチャットにおいて、LDAを上回る性能を発揮する。

ABSTRACT

We propose a new algorithm for topic modeling, Vec2Topic, that identifies the main topics in a corpus using semantic information captured via high-dimensional distributed word embeddings. Our technique is unsupervised and generates a list of topics ranked with respect to importance. We find that it works better than existing topic modeling techniques such as Latent Dirichlet Allocation for identifying key topics in user-generated content, such as emails, chats, etc., where topics are diffused across the corpus. We also find that Vec2Topic works equally well for non-user generated content, such as papers, reports, etc., and for small corpora such as a single-document.

研究の動機と目的

• キーワードが散らばっており文脈語に囲まれるユーザ生成コンテンツにおいて、従来のトピックモデル（例：LDA）がキーポイントを特定する際の限界を解消すること。
• 分散語表現からの意味情報を活用して、コーパス全体にわたるコアトピックを検出できる非教師あり手法を開発すること。
• 深さと次数の指標を組み合わせることでトピックの重要度をランク付けし、記述的キーワードを生成すること。
• 小規模ドキュメント、単一ドキュメント、科学論文などの非ユーザ生成コンテンツを含む多様なコーパスにおいて、有効性を示すこと。
• 単一語にとどまらず、ユーザの関心をより正確に捉える多語彙のフレーズにまでトピックモデリングを拡張すること。

提案手法

• 語の高次元分散表現を用いて階層的クラスタリングを実行し、語からルートノードまでのリンク数に基づいて深さスコアを計算するためのデンドログラムを構築する。
• 各語の周囲の文脈窓内で共起する固有語の数として、次数スコアを計算する。
• 深さスコアと次数スコアを、両指標のバランスをとるために正規化された累乗変換を用いて合成スコアに統合する。
• 各クラスタでスコアの高い語を用いてトピックを構築・ランク付けし、トピックラベルは最もスコアの高い語から導出する。
• データセット間でのスコア統合の安定化を図るため、メジアンベースのαおよびβパラメータを用いて正規化を実施する。
• 固有名（例：人の名前）や外国語を除去することで、深さスコアの歪みを引き起こす不自然なクラスタの発生を防ぐ。

実験結果

リサーチクエスチョン

• RQ1 キーワードがドキュメント全体に散らばっている状況において、分散語表現に基づくトピックモデリング手法が、LDAを上回ってキーポイントを特定できるか。
• RQ2 提案された深さと次数のスコアリング機構は、ユーザ生成コンテンツにおいて意味的に整合性があり重要なトピックを効果的に捉えられるか。
• RQ3 単一ドキュメントや短いテキストなど、小規模コーパスにおいても、このアルゴリズムは頑健性と性能を維持できるか。
• RQ4 科学論文やニュース記事などの非ユーザ生成コンテンツに対しても、この手法は汎用性を有するか。
• RQ5 連続しない複数語のフレーズがキーポイントを表す課題に対して、このアルゴリズムはどのように対処できるか。

主な発見

• キーワードが散らばっており文脈語に囲まれるユーザ生成コンテンツ（例：メールやチャット）において、Vec2TopicはLDAを上回ってコアトピックを特定できる。
• Enronメールコーパスにおいても、Vec2Topicは効果的にキーポイントを同定しており、トップトピックは企業機能、エネルギー事業、ビジネス戦略を反映している。LDAが「会議」や「メール」などの文脈語でクラスタリングするのに対し、Vec2Topicは意味的に整合性のあるトピックを抽出している。
• 科学論文やニュース記事などの非ユーザ生成コンテンツに対しても、Vec2Topicは良好な性能を示しており、数百トークン程度の小規模コーパスに対しても有効である。
• スキップグラム学習プロセスのおかげで、語表現のばらつきに対しても頑健であり、複数回の実行においてもトップトピックの質的安定性が保たれている。
• メジアンベースのαおよびβパラメータによる深さ・次数スコアの正規化は、特定のデータセットで性能向上をもたらしたが、通常は1に近い値をとる。
• 固有名や外国語の除去は、深さスコアに歪みをもたらす不自然なクラスタの発生を防ぐことで、トピック品質を顕著に向上させた。