[論文レビュー] Supervised Topical Key Phrase Extraction of News Stories using Crowdsourcing, Light Filtering and Co-reference Normalization

Luís Marujo, Anatole Gershman+3 more|arXiv (Cornell University)|Jun 20, 2013

Advanced Text Analysis Techniques参考文献 1被引用数 36

ひとこと要約

本稿では、クラウドソーシングによるアノテーション、周辺コンテンツの軽量フィルタリング、共参照正規化を用いて、ニュース記事からのトピックキーフレーズ抽出のための教師ありアプローチを提案する。この手法は、浅い意味的特徴、修辞的シグナル、ニュースカテゴリを活用することで、nDCGスコアを78.47%まで向上させ、ベースライン手法よりも9.54ポイント優れている。

ABSTRACT

Fast and effective automated indexing is critical for search and personalized services. Key phrases that consist of one or more words and represent the main concepts of the document are often used for the purpose of indexing. In this paper, we investigate the use of additional semantic features and pre-processing steps to improve automatic key phrase extraction. These features include the use of signal words and freebase categories. Some of these features lead to significant improvements in the accuracy of the results. We also experimented with 2 forms of document pre-processing that we call light filtering and co-reference normalization. Light filtering removes sentences from the document, which are judged peripheral to its main content. Co-reference normalization unifies several written forms of the same named entity into a unique form. We also needed a "Gold Standard" - a set of labeled documents for training and evaluation. While the subjective nature of key phrase selection precludes a true "Gold Standard", we used Amazon's Mechanical Turk service to obtain a useful approximation. Our data indicates that the biggest improvements in performance were due to shallow semantic features, news categories, and rhetorical signals (nDCG 78.47% vs. 68.93%). The inclusion of deeper semantic features such as Freebase sub-categories was not beneficial by itself, but in combination with pre-processing, did cause slight improvements in the nDCG scores.

研究の動機と目的

• 文書の意味的および構造的特徴を統合することで、ニュースインデキングのための自動キーフレーズ抽出を改善すること。
• キーフレーズ選択の主観性に対処するため、実用的なゴールドスタンダードとしてのクラウドソーシングによるアノテーションを用いること。
• 軽量フィルタリングや共参照正規化などのドキュメント前処理技術を通じて、性能を向上させること。
• 浅い意味的特徴と深い意味的特徴がキーフレーズ抽出の正確性に与える影響を評価すること。
• 信号語、Freebaseカテゴリ、および前処理を統合した教師あり学習フレームワークにおける有効性を示すこと。

提案手法

• トレーニングおよび評価のための実用的ゴールドスタンダードを形成するために、Amazon Mechanical Turkを活用してクラウドソーシングによるキーフレーズアノテーションを収集した。
• 主な内容から外れると思われる文を除去するため、軽量フィルタリングを適用し、コアトピックに焦点を絞ることを改善した。
• 同じ固有表現の異なる表記形を1つの標準形に統一するため、共参照正規化を実施した。
• 修辞的シグナル（例：'however'、'therefore'）やニュースカテゴリなどの浅い意味的特徴を統合し、キーフレーズ検出を支援した。
• Freebaseのサブカテゴリをより深い意味的特徴として統合したが、前処理と組み合わせた場合にわずかな向上が得られたにとどまった。
• これらの特徴と前処理済みテキストを用いて教師ありモデルを学習し、高い正確性でトピック的キーフレーズを予測した。

実験結果

リサーチクエスチョン

• RQ1 クラウドソーシングによるアノテーションは、ニュース記事におけるキーフレーズ抽出のゴールドスタンダードの信頼できる近似値を提供できるか？
• RQ2 周辺的な文の軽量フィルタリングは、キーフレーズ抽出のパフォーマンスにどの程度向上効果をもたらすか？
• RQ3 共参照正規化は、固有表現の表記を統一し、抽出の正確性を向上させるためにどの程度有効か？
• RQ4 修辞的シグナルやニュースカテゴリといった浅い意味的特徴は、nDCGスコアの向上に顕著な効果をもたらすか？
• RQ5 Freebaseのサブカテゴリのようなより深い意味的特徴を前処理と組み合わせることで、測定可能な向上が得られるか？

主な発見

• 浅い意味的特徴（修辞的シグナルおよびニュースカテゴリ）の統合により、最大のパフォーマンス向上が得られ、nDCGは68.93%から78.47%に上昇した。
• 軽量フィルタリングと共参照正規化は、それぞれノイズ低減とエンティティの一貫性向上により、モデルのパフォーマンス向上に寄与した。
• Freebaseサブカテゴリのようなより深い意味的特徴は、単独ではパフォーマンス向上をもたらさなかったが、前処理と組み合わせるとわずかな向上が見られた。
• 全体としてのシステムは、評価セットにおいて最先端のnDCG78.47%を達成し、ベースライン手法を著しく上回った。
• キーフレーズ選択の主観性にもかかわらず、クラウドソーシングは実用的でスケーラブルなゴールドスタンダードの生成に有効であることが示された。
• 結果から、構造的前処理と意味的特徴を統合することで、ニュースドキュメントにおける堅牢で正確なキーフレーズ抽出が可能であることが明らかになった。