[論文レビュー] TaxoGen: Unsupervised Topic Taxonomy Construction by Adaptive Term Embedding and Clustering

Chao Zhang, Fangbo Tao+6 more|arXiv (Cornell University)|Dec 22, 2018

Topic Modeling参考文献 34被引用数 15

ひとこと要約

TaxoGenは、意味的に一貫性のある語群を階層的Conceptualトピックにクラスタリングすることで、非教師付きの方法でトピック分類表を構築する。適応的球面クラスタリングを用いて語を適切なレベルに割り当て、局所的埋め込みを活用して細分化されたレベルでの判別力を向上させる。実世界のデータセットにおいて、関係精度、語の一貫性、クラスタリング品質の面で最先端の性能を達成した。

ABSTRACT

Taxonomy construction is not only a fundamental task for semantic analysis of text corpora, but also an important step for applications such as information filtering, recommendation, and Web search. Existing pattern-based methods extract hypernym-hyponym term pairs and then organize these pairs into a taxonomy. However, by considering each term as an independent concept node, they overlook the topical proximity and the semantic correlations among terms. In this paper, we propose a method for constructing topic taxonomies, wherein every node represents a conceptual topic and is defined as a cluster of semantically coherent concept terms. Our method, TaxoGen, uses term embeddings and hierarchical clustering to construct a topic taxonomy in a recursive fashion. To ensure the quality of the recursive process, it consists of: (1) an adaptive spherical clustering module for allocating terms to proper levels when splitting a coarse topic into fine-grained ones; (2) a local embedding module for learning term embeddings that maintain strong discriminative power at different levels of the taxonomy. Our experiments on two real datasets demonstrate the effectiveness of TaxoGen compared with baseline methods.

研究の動機と目的

• 個々の語を独立したノードとして扱う語レベル分類表の限界を是正すること。これによりカバー範囲が狭く、冗長性が高く、情報量が限られる。
• 各ノードが意味的に一貫性のある語のクラスタを表すトピック分類表を構築すること。これにより、単一の語ではなく概念的トピックが形成される。
• 粗いトピックを再帰的に分割する過程で、語を適切な階層的レベルに動的に割り当てることで分類表の品質を向上させること。
• トピック制約付きのサブコーパスから学習する局所的埋め込みにより、低レベルでの語の埋め込みの判別力を高めること。
• 手動の教師なしで、意味的一致性と階層的構造の両立を図る手法を開発すること。

提案手法

• 潜在的ベクトル空間における概念語の意味的関係を語の埋め込みで表現する。
• 階層的クラスタリングを用いて、粗いトピックを段階的に細分化したサブトピックに分割する。
• 語の代表性をランク付けし、親レベルに保持すべき一般語を反復的に同定する適応的球面クラスタリングモジュールを導入する。
• トピック制約付きサブコーパス上で語の埋め込みを再学習する局所的埋め込みモジュールを適用し、低レベルでの判別力を向上させる。
• 分割過程での語の割り当てをガイドするランク関数を用い、一般語や重複する概念が誤って子トピックに割り当てられないようにする。
• クラスタリング品質指標（Davies-Bouldin指数）と人間評価（語の一貫性）を組み合わせて、分類表構造の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 意味的に一貫性のある語のクラスタとしてトピックを表現することで、個々の語として扱うよりも、トピック分類表をより効果的に構築できるか？
• RQ2 階層的分類表における適切なレベルに語を適応的に割り当てる方法は何か？ 一般語や重複する概念が誤って分類されのを防げるか？
• RQ3 トピック制約付きサブコーパスから局所的埋め込みを学習することで、細分化されたレベルでの語表現の判別力が向上するか？
• RQ4 提案手法は、従来のパターンベースおよび埋め込みベースのベースラインと比較して、分類表の品質と一貫性の面でどの程度優れているか？
• RQ5 再帰的構築プロセスは、冗長性を最小限に抑えつつ、高い意味的一致性を維持できるか？

主な発見

• TaxoGenは、比較されたすべての手法の中で最高の関係精度（DBLPで0.775、SPで0.520）を達成し、ベースラインモデルを顕著に上回った。
• 語の一貫性スコアも最高（DBLPで0.728、SPで0.592）を記録し、各クラスタの上位語が非常に意味的に一貫していることを示した。
• TaxoGenのDavies-Bouldin指数は、すべての埋め込みベース手法の中で最小であり、優れたクラスタリング構造品質を示した。
• アブレーションスタディの結果、適応的クラスタリングモジュールと局所的埋め込みモジュールの両方が不可欠であることが判明。いずれかを除去すると性能が著しく低下した。
• トピックモデリング手法（HPAM、HLDA）に比べ、特に短文ドキュメントが中心のDBLPデータセットにおいて顕著に優れた性能を示した。これは、意味の微細な違いや語の選択をより適切に処理できたためである。
• 同じ概念を複数の表現で別々のノードに分割するのを防ぐことで、冗長性を効果的に低減した一方で、意味的クラスタリングにより高いカバー範囲を維持した。