[論文レビュー] Unsupervised Extraction of Representative Concepts from Scientific Literature

Adit Krishnan, Aravind Sankar+2 more|arXiv (Cornell University)|Oct 6, 2017

Advanced Text Analysis Techniques参考文献 29被引用数 6

ひとこと要約

本稿では、論文の題名から鍵となる科学的概念を抽出・タイプ化するための、教師なしでドメインに依存しない2段階フレームワークを提案する。まず、確率的生成モデル（PhraseType）を用いてフレーズを「技術」や「応用」などの側面にタイプ分類し、次に外部リソースを一切使用せずにアダプタ文法を適用して詳細な概念表記を抽出する。この手法により、多様な科学的分野で最先端の性能を達成した。

ABSTRACT

This paper studies the automated categorization and extraction of scientific concepts from titles of scientific articles, in order to gain a deeper understanding of their key contributions and facilitate the construction of a generic academic knowledgebase. Towards this goal, we propose an unsupervised, domain-independent, and scalable two-phase algorithm to type and extract key concept mentions into aspects of interest (e.g., Techniques, Applications, etc.). In the first phase of our algorithm we propose PhraseType, a probabilistic generative model which exploits textual features and limited POS tags to broadly segment text snippets into aspect-typed phrases. We extend this model to simultaneously learn aspect-specific features and identify academic domains in multi-domain corpora, since the two tasks mutually enhance each other. In the second phase, we propose an approach based on adaptor grammars to extract fine grained concept mentions from the aspect-typed phrases without the need for any external resources or human effort, in a purely data-driven manner. We apply our technique to study literature from diverse scientific domains and show significant gains over state-of-the-art concept extraction techniques. We also present a qualitative analysis of the results obtained.

研究の動機と目的

• 論文の題名から鍵となる科学的概念を自動的かつ教師なしで分類・抽出することを可能にすること。
• ラベル付きデータや外部リソースに依存せずに、科学文献における概念抽出の課題に取り組むこと。
• 多様な学術分野に適用可能な柔軟でスケーラブルなフレームワークを構築すること。
• 抽出の前にフレーズをタイプ化することで、側面固有のルール学習を可能にし、既存手法を上回ること。
• 引用推薦や研究動向分析などの応用に適した汎用的な学術知識ベースを構築すること。

提案手法

• テキスト特徴量と限定的な品詞タグを用いて、「技術」や「応用」などの側面にフレーズをタイプ分類する確率的生成モデル「PhraseType」を提案する。
• マルチドメインコーパスにおいて、側面固有の特徴を同時に学習し、学術的ドメインを同定することで、相互強化を実現する。
• 異種の科学的コーパスにおける側面タイプ分類の精度を向上させるために、ドメインレベルの事前分布を組み込んだ「DomainPhraseType」を提案する。
• タイプ化されたフレーズから、完全にデータ駆動的かつリソースフリーな方法で、詳細な概念表記を抽出するためにアダプタ文法を活用する。
• 語の埋め込みと一般化された言語モデルを用いてフレーズの意味をモデル化し、頑健な概念抽出を支援する。
• 2段階パイプラインを採用する：まず確率的モデリングによるフレーズタイプ分類、次に文法に基づくパターン誘導による概念抽出。

実験結果

リサーチクエスチョン

• RQ1 教師なし・外部知識なしで、科学的フレーズを「技術」や「応用」などの側面に正確にタイプ分類できるか？
• RQ2 多ドメイン環境において、側面タイプ分類とドメイン同定を同時に学習することで、性能を向上させられるか？
• RQ3 外部リソースを一切使用せずに、タイプ化されたフレーズから正確な概念表記を抽出できるか？
• RQ4 提案フレームワークは、科学的タイトルからの概念抽出において、最先端手法と比較してどのように優れているか？
• RQ5 本フレームワークは、コンピュータサイエンス、データベース、自然言語処理など多様な科学的分野に一般化可能か？

主な発見

• 提案フレームワークは、多様な科学的分野において、最先端の概念抽出技術を顕著に上回った。
• PhraseTypeとDomainPhraseTypeは、相互に強化しあうことで、側面タイプ分類とドメイン同定の両方の性能を向上させた。
• アダプタ文法は、外部リソースや人手によるアノテーションを一切必要とせず、詳細な概念表記を効果的に抽出できた。
• 文脈が限られたタイトルに対しても、本手法はNPチャンキングや依存構文解析の手法を上回る性能を示した。
• 定性的分析の結果、ACL や CVPR などの主要会議の論文タイトルにおいて、「ニューラルネットワーク」や「顔認識」、「機械翻訳」などのキーワードを正しく同定できた。
• DBLPデータセットから10の異なる科学的分野を同定した。例えば「複雑性クラス」（FOCS, STOC）や「センサネットワーク」（ICC, INFOCOM）など、強力なドメイン発見能力を示した。