[論文レビュー] Learning Feature Representations for Keyphrase Extraction

Corina Florescu, Wei Jin|arXiv (Cornell University)|Jan 5, 2018

Advanced Text Analysis Techniques被引用数 7

ひとこと要約

本稿では、文書を単語グラフとして表現し、バイアス付きランダムウォークを用いてフレーズ表現を学習する教師ありキーフレーズ抽出モデルSurfKEを提案する。合成データセット上で最先端のF1スコア0.260を達成し、PositionRank や Maui といった強力なベースラインより、それぞれ15.18%および8.91%の精度向上を達成した。

ABSTRACT

In supervised approaches for keyphrase extraction, a candidate phrase is encoded with a set of hand-crafted features and machine learning algorithms are trained to discriminate keyphrases from non-keyphrases. Although the manually-designed features have shown to work well in practice, feature engineering is a difficult process that requires expert knowledge and normally does not generalize well. In this paper, we present SurfKE, a feature learning framework that exploits the text itself to automatically discover patterns that keyphrases exhibit. Our model represents the document as a graph and automatically learns feature representation of phrases. The proposed model obtains remarkable improvements in performance over strong baselines.

研究の動機と目的

• キーフレーズ抽出における手作業特徴量の限界を解消すること。これは、専門知識を要し、一般化能力に欠けるためである。
• 手動による特徴工学を一切用いずに、テキスト内の構造的パターンから情報豊富でデータ駆動型の特徴表現を自動で学習すること。
• 単語グラフのトポロジーを活用し、バイアス付きランダムウォークによる分散表現の学習を通じて、キーフレーズ抽出のパフォーマンスを向上させること。
• グラフ構造のテキストから自己発見された表現が、従来の手作業で設計された特徴量を上回るかを評価すること。

提案手法

• モデルは文書から、品詞フィルタリング後のコンテンツ語を頂点とし、スライディングウィンドウサイズw内で共起する語の間に辺を張る無向単語グラフを構築する。
• 辺の重みは、ウィンドウ内での語ペアの共起頻度で定義され、局所的な文法的・意味的関係を捉える。
• 遷移確率が重みの高い辺を優先するバイアス付きランダムウォーク戦略を用い、顕著な語の近傍を探索する。
• スロットリング・グラム風のモデルを用いてランダムウォークのシーケンス上で学習し、各単語を低次元空間内のd次元ベクトルにマッピングする。
• 多語語キーフレーズ候補の構成語の単語ベクトルを平均することでフレーズ表現を形成する。
• これらの学習済み表現を用いてガウス・ナイーブベイズ分類器が、候補フレーズをキーフレーズまたは非キーフレーズとしてランク付け・分類する。

実験結果

リサーチクエスチョン

• RQ1 手作業による特徴工学を一切用いずに、テキストのグラフ表現がキーフレーズと非キーフレーズを区別する意味のあるパターンを自動で発見できるか？
• RQ2 単語グラフ上でバイアス付きランダムウォークによる分散表現の学習が、従来の手作業特徴量よりも優れたキーフレーズ抽出性能をもたらすか？
• RQ3 提案手法の性能は、多様なドメインにまたがる強力な教師ありおよび教師なしベースラインと比較してどうか？
• RQ4 学習済み表現が、ドキュメントの主要トピロジーを反映する顕著で中心的な語をどの程度捉えられるか？

主な発見

• SurfKEは合成データセットでF1スコア0.260を達成し、最高のベースラインであるPositionRank（F1スコア0.240）を顕著に上回った。
• モデルはKEA（0.146）に対して50.68%、KPMiner（0.165）に対して33.33%、Maui（0.191）に対して15.18%、PositionRank（0.202）に対して8.91%の精度向上を達成した。
• SurfKEのリCALLは0.390であり、すべてのベースラインを上回っており、関連キーフレーズの効果的な同定を示している。
• 結果から、手作業で設計された特徴量よりも、自己発見されたグラフベース表現がキーフレーズ分類においてより効果的であることが示された。
• DUC、Inspec、PubMedの多様なドキュメントタイプから得られた結果から、グラフトポロジーを通じて中心語が効果的に捉えられていることが裏付けられた。