[論文レビュー] SemRe-Rank: Incorporating Semantic Relatedness to Improve Automatic Term Extraction Using Personalized PageRank.

Ziqi Zhang, Jie Gao+1 more|arXiv (Cornell University)|Nov 9, 2017

Advanced Text Analysis Techniques参考文献 65被引用数 4

ひとこと要約

SemRe-Rankは、語の意味的関連性を個人化されたPageRankフレームワークに統合することで、既存の自動用語抽出（ATE）手法を強化し、意味的重要度スコアを計算することで用語候補の順序付けを改善する。13の最先端ATE手法と4つの多様なデータセットを用いた評価において、上位K語の精度で最大0.15、F1スコアで最大0.28の向上を達成し、一貫性があり顕著な性能向上を示した。

ABSTRACT

Automatic Term Extraction deals with the extraction of terminology from a domain specific corpus, and has long been an established research area in data and knowledge acquisition. ATE remains a challenging task as it is known that no existing methods can consistently outperforms others in all domains. This work adopts a different strategy towards this problem as we propose to 'enhance' existing ATE methods instead of 'replace' them. We introduce SemRe-Rank, a generic method based on the concept of incorporating semantic relatedness - an often overlooked venue - into an existing ATE method to further improve its performance. SemRe-Rank applies a personalized PageRank process to a semantic relatedness graph of words to compute their 'semantic importance' scores, which are then used to revise the scores of term candidates computed by a base ATE algorithm. Extensively evaluated with 13 state-of-the-art ATE methods on four datasets of diverse nature, it is shown to have achieved widespread improvement over all methods and across all datasets. The best performing variants of SemRe-Rank have achieved, on some datasets, an improvement of 0.15 (on a scale of 0 ~ 1.0) in terms of the precision in the top ranked K term candidates, and an improvement of 0.28 in terms of overall F1.

研究の動機と目的

• 異なるドメインにおいて一貫性のない性能を示す既存のATE手法の課題を解決すること。
• 既存のATEシステムにおける用語候補の順序付けを向上させるために、意味的関連性を統合することが可能かどうかを調査すること。
• ベースとなるアルゴリズムを置き換えずに、ATEを改善できる汎用的でプラグイン可能な拡張手法を開発すること。
• 多様なドメインと複数の最先端ATEベースラインを用いて評価することで、広範な適用可能性を確認すること。

提案手法

• ノードが語を表し、エッジが意味的類似度スコアを表す意味的関連性グラフを構築する。
• 用語候補をシードノードとして使用し、グラフに個人化されたPageRankを適用して意味的重要度スコアを計算する。
• 計算された意味的重要度スコアを、ベースとなるATEアルゴリズムのスコア関数に統合し、用語候補の再順序付けを行う。
• 修正されたスコアを用いて最終的な用語順位を生成し、上位順位の用語の関連性を向上させる。
• 本手法は、初期の用語スコアを出力する任意の既存のATEアルゴリズムと互換性があり、汎用的であるように設計されている。
• 事前学習済みの単語埋め込みまたは意味的類似度測定を用いて、意味的関連性グラフを構築する。

実験結果

リサーチクエスチョン

• RQ1 既存のATE手法に意味的関連性を統合することで、多様なドメインにわたって一貫した性能向上が達成できるか？
• RQ2 個人化されたPageRankによる意味的重要度の統合が、上位順位の用語候補の精度にどのように影響するか？
• RQ3 SemRe-Rankは、ベースラインのATE手法と比較して、全体のF1スコアをどの程度向上させるか？
• RQ4 複数のATEアルゴリズムと多様なデータセットにおいても、この強化は有効に機能するか？
• RQ5 性能向上は意味的拡張によるものか、単にスコアの正規化によるものか？

主な発見

• SemRe-Rankは、複数のデータセットにおいて上位K語の用語候補の精度を平均で0.15向上させた。
• 一部のデータセットでは全体のF1スコアを最大0.28まで向上させ、用語抽出の質の顕著な向上を示した。
• 評価された13の最先端ATE手法すべてにおいて、性能向上が一貫して得られ、広範な互換性があることが示された。
• SemRe-Rankの最良なバリエーションは、4つの多様なデータセットすべてで測定可能な向上を示し、強靭性を確認した。
• ベースとなるATEアルゴリズムを変更せずに、意味的関連性の統合が用語順序付けの向上に顕著に寄与した。