[論文レビュー] Entropic selection of concepts unveils hidden topics in documents corpora

Andrea Martini, Alessio Cardillo+1 more|arXiv (Cornell University)|May 18, 2017

Biomedical Text Mining and Ontologies被引用数 4

ひとこと要約

本稿では、エントロピーに基づく選択を用いて、文書コーパスから一般的で共通する概念を同定・除去する情報理論的手法を提案する。これにより、余分な文書類似度を低減し、大規模な科学的コーパスにおけるトピック検出を向上させる、より洗練されたトピック構造が明らかになる。

ABSTRACT

The organization and evolution of science has recently become itself an object of scientific quantitative investigation, thanks to the wealth of information that can be extracted from scientific documents, such as citations between papers and co-authorship between researchers. However, only few studies have focused on the concepts that characterize full documents and that can be extracted and analyzed, revealing the deeper organization of scientific knowledge. Unfortunately, several concepts can be so common across documents that they hinder the emergence of the underlying topical structure of the document corpus, because they give rise to a large amount of spurious and trivial relations among documents. To identify and remove common concepts, we introduce a method to gauge their relevance according to an objective information-theoretic measure related to the statistics of their occurrence across the document corpus. After progressively removing concepts that, according to this metric, can be considered as generic, we find that the topic organization displays a correspondingly more refined structure.

研究の動機と目的

• 文書コーパスにおけるトピック構造をぼかす一般的で共通する概念の問題に対処すること。
• 手動によるカスタマイズなしに、非情報的であるとされる概念を同定・除去するための客観的で情報理論的な基準を開発すること。
• トピックモデリングおよび文書類似度ネットワークを改善し、自明で密集した接続を生じる概念をフィルタリングすること。
• 大規模な科学的文書コレクションにおける意味のあるトピックの自動的・スケーラブルな同定を可能にすること。
• 意味的解析におけるストップワードや一般的な概念の手動カスタマイズの代替手段としての強固な代替策を提供すること。

提案手法

• 本手法は、一般化されたゼータ分布を用いて、概念の語句頻度（TF）分布の最大エントロピーを計算する。この分布は n と λ でパラメータ化される。
• 実測のTF分布と理論的な最大エントロピー分布との間のカルバック・ライブラー発散として、残差エントロピー S_d を計算する。
• 再スケーリングされた語句頻度（rtf）に対しては、分布を対数正規分布としてモデル化し、離散カルバック・ライブラー発散を用いて理論モデルからの逸脱度を定量化する。
• 概念はその残差エントロピー S_d によって順位付けされ、最大エントロピーからの高い逸脱を示す（すなわち、一般的であるとされる）概念はフィルタリングされる。
• パーセンタイルに基づくフィルタリング戦略が採用され、残差エントロピーに基づいて概念が選択され、段階的に厳しい閾値が適用される。
• 文書間の類似度ネットワークは、フィルタリング済みの概念セットのみを用いて再構築され、トピック構造の明確さが向上する。

実験結果

リサーチクエスチョン

• RQ1 文書コーパスにおけるトピック構造をぼかす一般的で共通する概念を、どのようにして客観的に同定できるか？
• RQ2 このような概念を除去することで、科学的文書コレクションにおける潜在的なトピックの検出可能性はどの程度向上するか？
• RQ3 エントロピー逸脱度を情報理論的指標として用いることで、ストップワードの手動カスタマイズを効果的に代替できるか？
• RQ4 語句頻度分布の残差エントロピーと概念の情報量の高さとの相関関係は何か？
• RQ5 高エントロピーの概念をフィルタリングすることで、文書類似度ネットワークのスパarsity（スパarsity）と解釈可能性にはどのような影響を与えるか？

主な発見

• 本手法は、最大エントロピーからの統計的逸脱に基づいて、一般的な概念を効果的に同定・フィルタリングし、余分な文書接続を低減した。
• フィルタリング後、得られる文書類似度ネットワークは著しくスパースで、より意味のある構造を示し、明確なトピック組織が明らかになった。
• 残差エントロピー S_d は、単純な頻度閾値を上回る、概念の情報量の順位付けに向けた強固で客観的な指標である。
• 専門家のカスタマイズに依存せず、大規模コーパスにおける自動的・スケーラブルなトピック構造の発見が可能になった。
• TFおよびrtf分布に一般化ゼータ分布と対数正規分布を用いることで、語句頻度統計の正確なモデリングが可能になった。
• 残差エントロピーに基づくパーセンタイルフィルタリングにより、ノイズ除去の異なる段階でトピック構造の洗練を体系的に行うことが可能になった。