[論文レビュー] Unsupervised Key-phrase Extraction and Clustering for Classification Scheme in Scientific Publications

Xiajing Li, Marios Daoutis|arXiv (Cornell University)|Jan 25, 2021

Advanced Text Analysis Techniques参考文献 17被引用数 7

ひとこと要約

本稿では、系統的文献レビューにおける分類体系の構築を自動化するための教師なしフレームワークを提案する。キーフレーズ抽出と意味的クラスタリングを統合し、キーフレーズ順位付けにアンサンブルスコア、ConceptNetに基づく単語埋め込み、球面k-meansクラスタリングを採用することで、解釈可能AI分野における専門家が定義したカテゴリと類似した高品質で意味的に整合性のあるクラスタを達成した。

ABSTRACT

Several methods have been explored for automating parts of Systematic Mapping (SM) and Systematic Review (SR) methodologies. Challenges typically evolve around the gaps in semantic understanding of text, as well as lack of domain and background knowledge necessary to bridge that gap. In this paper we investigate possible ways of automating parts of the SM/SR process, i.e. that of extracting keywords and key-phrases from scientific documents using unsupervised methods, which are then used as a basis to construct the corresponding Classification Scheme using semantic key-phrase clustering techniques. Specifically, we explore the effect of ensemble scores measure in key-phrase extraction, we explore semantic network based word embedding in embedding representation of phrase semantics and finally we also explore how clustering can be used to group related key-phrases. The evaluation is conducted on a dataset of publications pertaining the domain of "Explainable AI" which we constructed using standard publicly available digital libraries and sets of indexing terms (keywords). Results shows that: ensemble ranking score does improve the key-phrase extraction performance. Semantic-network based word embedding based on the ConceptNet Semantic Network has similar performance with contextualized word embedding, however the former are computationally more efficient. Finally Semantic key-phrase clustering at term-level can group similar terms together that can be suitable for classification scheme.

研究の動機と目的

• 系統的マッピングおよびレビュー（SM/SR）研究における人的に負担が大きいキーワード抽出および分類体系構築プロセスの自動化。
• 科学的文献の自動テキスト処理における意味的理解とドメイン知識の欠如という課題に対処する。
• 手動による専門家ラベル付けに依存しないが、抽出された用語の意味的整合性を保つスケーラブルな教師なしパイプラインの開発。
• 解釈可能AI分野における科学的出版物に対して、異なる埋め込みおよびクラスタリング手法の有効性を評価する。
• 急速に拡大する研究出力の時代にふさわしい、より速くスケーラブルな文献統合の基盤を提供する。

提案手法

• TF-IDF、TextRank、および語彙集ベースの特徴を統合したアンサンブルスコアを用いて、キーフレーズ抽出の精度を向上。
• 微調整を必要としない低コストな代替手段として、ConceptNetに基づく単語埋め込みを採用し、意味的類似性を捉える。
• フレーズを平均化された単語埋め込みとして表現し、球面k-meansおよび階層的凝集型クラスタリング（HAC）を用いてクラスタリング。
• シルエットスコアと複数の設定におけるクラスタの整合性の手動検証を通じて、クラスタリング品質を評価。
• デジタルライブラリおよびインデクシング用語から得た真値キーワードを備えた、1,000件を超えるXAI関連論文の要約データセットを構築。
• シルエットスコアのピークに基づき、球面k-meansに対して89クラスタを最適なクラスタ数として特定。

実験結果

リサーチクエスチョン

• RQ1 アンサンブルスコアは、個々のスコアリング手法と比較して、どの程度キーフレーズ抽出のパフォーマンスを向上させるか？
• RQ2 BERTなどの文脈依存埋め込みと比較して、ConceptNetベースの単語埋め込みは、キーフレーズ表現においてパフォーマンスと効率性の面でどのように差異を示すか？
• RQ3 意味的クラスタリングは、分類体系に適した一貫性のあるカテゴリに関連するキーフレーズを効果的にグループ化できるか？
• RQ4 科学的文献におけるキーフレーズの意味的グループ化において、最適なクラスタ数は何か？
• RQ5 球面k-meansとHACのクラスタリングアルゴリズムは、クラスタ品質および意味的整合性の観点で、どのように比較できるか？

主な発見

• アンサンブルスコアは、ドメイン固有の語彙集を含む複数の信号源を統合することで、キーフレーズ抽出のパフォーマンスを顕著に向上させる。
• ConceptNetベースの単語埋め込みは、BERTなどの文脈依存埋め込みと同等のパフォーマンスを達成しながら、計算コストを最大70％まで削減する。
• 球面k-meansクラスタリングは89クラスタでシルエットスコア0.1615を達成し、HAC（0.0690）を上回る性能を示し、より優れたクラスタ分離と品質を示している。
• 手動による検証により、クラスタが意味的に整合性があることが確認され、『ビジュアルアナリティクス』『オブジェクト検出』『ホワイトボックスAI』『ファジィシステム』といった明確なトピックが識別された。
• やや低いシルエットスコアであっても、クラスタ内での意味的整合性が強く、分類体系構築に実用的であることが示された。
• 本フレームワークにより、特にドメイン制約を組み合わせた場合、人為的介入を最小限に抑えつつ、自動的かつスケーラブルな分類体系の生成が可能になった。