[論文レビュー] Automatic Labelling of Topics with Neural Embeddings

Shraey Bhatia, Jey Han Lau+1 more|arXiv (Cornell University)|Dec 16, 2016

Topic Modeling参考文献 24被引用数 13

ひとこと要約

本論文は、Wikipediaのドキュメントタイトルを用いて、ニューラル埋め込みベースの手法を提案し、トピックラベルの自動生成とランク付けを行う。単語とドキュメントの埋め込みを組み合わせることで、多様なドメインにおいて、最先端のシステムを上回るラベル品質と効率性を達成し、よりシンプルで効果的な特徴量セットを用いて、候補生成およびランク付けの両面で優れた性能を発揮する。

ABSTRACT

Topics generated by topic models are typically represented as list of terms. To reduce the cognitive overhead of interpreting these topics for end-users, we propose labelling a topic with a succinct phrase that summarises its theme or idea. Using Wikipedia document titles as label candidates, we compute neural embeddings for documents and words to select the most relevant labels for topics. Compared to a state-of-the-art topic labelling system, our methodology is simpler, more efficient, and finds better topic labels.

研究の動機と目的

• トピックモデルの出力の解釈にかかる認知的負荷を軽減するため、生の語彙リストの代わりに、要約的で人間が読みやすいラベルを生成すること。
• ニューラル単語およびドキュメント埋め込みを活用することで、より関連性の高いラベルと高い効率性を実現し、既存のトピックラベル付けシステムを改善すること。
• 先行研究で用いられる複雑な特徴量セットを上回る、軽量で効果的なランク付け手法を開発すること。
• オープンソース実装およびトピックラベルランク付け評価のための新しいベンチマークデータセットを公開すること。

提案手法

• 各トピックの上位語彙に関連するWikipediaドキュメントタイトルを用いて、トピックラベル候補を生成する。
• 事前学習済みの単語およびドキュメント埋め込みを用いて、トピック語彙およびWikipediaタイトルの密なニューラル埋め込みを計算する。
• 4つの主要な特徴量（LetterTrigram、PageRank、TopicOverlap、NumWords）の組み合わせを用いて、候補ラベルをランク付ける。
• サポートベクターレグレッション（SVR）を用いた教師あり学習により、トピックに対する関連性に基づいて候補を再ランク付けする。
• トピック埋め込み（上位語彙から集約）とタイトル埋め込みのコサイン類似度を用いて、関連性を測定する。
• 異なるドメインにおける各特徴量の寄与度を評価するために、特徴量アブレーションを実施する。

実験結果

リサーチクエスチョン

• RQ1 ニューラル単語およびドキュメント埋め込みは、Wikipediaタイトルから高品質なトピックラベル候補を効果的に生成できるか？
• RQ2 最小限の特徴量セット（LetterTrigram、PageRank、TopicOverlap、NumWords）は、複雑な語彙的関連測定法を上回るラベルランク付け性能を達成できるか？
• RQ3 提案手法の性能は、多様なテキストドメインにおいて最先端のシステムと比較してどの程度優れているか？
• RQ4 個々の特徴量が、異なるドメインにおいてラベルランク付け性能にどの程度寄与しているか？

主な発見

• NETLは、すべての評価指標で最先端のLGNBシステムを上回り、ドメイン全体の平均トップ1平均評価が2.00に達したのに対し、LGNBは1.92であった。
• 4つの特徴量（LetterTrigram、PageRank、TopicOverlap、NumWords）を用いた本手法のランク付け法は、LGNBの10特徴量アプローチを上回り、すべてのドメインでより高いnDCGスコアを達成した。
• 特徴量アブレーションの結果、ブログドメインではPageRank、PubMedドメインではLetterTrigramが性能に顕著な影響を及ぼしており、特徴量の有効性がドメインに依存することが示された。
• 埋め込み計算に10語を超えるトピック語彙を使用すると性能が低下するため、表現の観点から上位10語が最適であると示された。
• トピックセンターや重み付き語彙確率を用いた類似度計算では、最小限の改善しか得られず、直接的な語彙レベルの埋め込みマッチングが十分であることが示された。