[論文レビュー] Learning Concept Hierarchies through Probabilistic Topic Modeling

V. S. Anoop, S. Asharaf+1 more|arXiv (Cornell University)|Nov 29, 2016

Advanced Text Analysis Techniques参考文献 10被引用数 3

ひとこと要約

本稿では、トピックモデリングに潜在ディリクレ配分（LDA）を活用し、軽量な言語処理を組み合わせることで、非構造化テキストから人間が解釈可能な概念を抽出する教師なしフレームワークを提案する。その後、概念間の確率的「is-a」関係を用いて包含関係の階層構造を構築し、BBCおよびReutersデータセットにおいて、従来の手法と比較して概念抽出および階層学習の両面で優れた性能を達成した。

ABSTRACT

With the advent of semantic web, various tools and techniques have been introduced for presenting and organizing knowledge. Concept hierarchies are one such technique which gained significant attention due to its usefulness in creating domain ontologies that are considered as an integral part of semantic web. Automated concept hierarchy learning algorithms focus on extracting relevant concepts from unstructured text corpus and connect them together by identifying some potential relations exist between them. In this paper, we propose a novel approach for identifying relevant concepts from plain text and then learns hierarchy of concepts by exploiting subsumption relation between them. To start with, we model topics using a probabilistic topic model and then make use of some lightweight linguistic process to extract semantically rich concepts. Then we connect concepts by identifying an "is-a" relationship between pair of concepts. The proposed method is completely unsupervised and there is no need for a domain specific training corpus for concept extraction and learning. Experiments on large and real-world text corpora such as BBC News dataset and Reuters News corpus shows that the proposed method outperforms some of the existing methods for concept extraction and efficient concept hierarchy learning is possible if the overall task is guided by a probabilistic topic modeling algorithm.

研究の動機と目的

• ドメイン固有のトレーニングデータを一切使用せずに、大規模な非構造化テキストコーパスから人間が解釈可能な概念を自動で抽出すること。
• 抽出された概念間の包含関係（"is-a"関係）を学習し、オントロジー作成に役立てる階層構造を構築すること。
• トピックモデリングを指針とする概念抽出が、従来の教師なし手法と比較して性能向上を達成するかを評価すること。
• BBCやReutersのような実世界のニュースコーパスにおいて、スケーラビリティと有効性を実証すること。

提案手法

• 大規模な非構造化テキストコーパスにおけるトピックをモデル化するため、潜在ディリクレ配分（LDA）を適用する。
• 語彙的頻度と逆トピック頻度に基づいて、多語彙語群を候補概念として特定する軽量な言語処理を用いる。
• 正規化語彙頻度（Ntf）と逆トピック頻度（itf）を計算し、意味的に豊かな多語彙語群のスコア付けとフィルタリングを行う。
• 条件付き確率P(C₁|C₂)とP(C₂|C₁)を計算して包含関係を確立し、P(C₁|C₂) = 1かつP(C₂|C₁) < 1である場合にC₁がC₂を包含するとみなす。
• すべての概念ペアに対して包含条件を再帰的に適用することで、階層的構造を構築する。
• 評価のための正解データとして、人間がアノテートした概念リポジトリを用い、正確度、再現度、F1スコアを用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 統計的に生成されたトピックを基盤として、軽量な言語処理を用いることで、人間が解釈可能な概念を効果的に抽出できるか。
• RQ2 抽出された概念間の"is-a"関係を用いて、意味的な包含関係の階層構造を学習できるか。
• RQ3 トピックモデリングを指針とする概念抽出が、従来の教師なしアルゴリズムと比較して、概念同定および階層学習の両面で優れた性能を発揮するか。
• RQ4 大規模なテキストコーパスにおけるトピック数の増加に伴い、本手法の性能はどのようにスケーリングするか。

主な発見

• 本手法は、概念抽出において正確度0.8165、再現度0.8901、F1スコア0.8516を達成し、ACE（F1: 0.2517）およびICE（F1: 0.7595）を上回った。
• トピック数が増加するにつれて、より多くの人間が解釈可能な概念を抽出でき、スケーラビリティとロバストネスを示した。
• BBCおよびReutersニュースコーパスにおける性能評価では、ACEやICEといったベースライン手法と比較して一貫した優位性を示した。
• 包含関係階層学習モジュールは、文書内共起パターンに基づき、「ダイヤルアップインターネット」が「ネットワーク接続」に包含されることを正しく同定した。
• フレームワークは完全に教師なしで動作し、ドメイン固有のトレーニングデータや人間ラベル付きコーパスを一切必要としない。
• 結果から、トピックモデリングのガイダンスが、抽出された概念の質と関連性、およびその階層的組織の質を顕著に向上させることを示した。