[論文レビュー] KeyXtract Twitter Model - An Essential Keywords Extraction Model for Twitter Designed using NLP Tools

Tharindu Cyril Weerasooriya, Nandula Perera+1 more|arXiv (Cornell University)|Aug 9, 2017

Advanced Text Analysis Techniques参考文献 14被引用数 4

ひとこと要約

この論文では、短くノイズが多いツイートから重要なキーワードを効果的に抽出するためのルールベースのキーワード抽出モデルであるKeyXtractを提案する。スタンフォードCoreNLPのPOSタッパーにドメイン特化したツイッター用モデルを組み合わせることで、精度を向上させる。2段階のシステムで名前付きエンティティ認識（NER）と語形還元（Lemmatization）を統合することで、F1スコアを0.69から0.77に、Turingテストの合格率を50%から83.33%に向上させる。

ABSTRACT

Since a tweet is limited to 140 characters, it is ambiguous and difficult for traditional Natural Language Processing (NLP) tools to analyse. This research presents KeyXtract which enhances the machine learning based Stanford CoreNLP Part-of-Speech (POS) tagger with the Twitter model to extract essential keywords from a tweet. The system was developed using rule-based parsers and two corpora. The data for the research was obtained from a Twitter profile of a telecommunication company. The system development consisted of two stages. At the initial stage, a domain specific corpus was compiled after analysing the tweets. The POS tagger extracted the Noun Phrases and Verb Phrases while the parsers removed noise and extracted any other keywords missed by the POS tagger. The system was evaluated using the Turing Test. After it was tested and compared against Stanford CoreNLP, the second stage of the system was developed addressing the shortcomings of the first stage. It was enhanced using Named Entity Recognition and Lemmatization. The second stage was also tested using the Turing test and its pass rate increased from 50.00% to 83.33%. The performance of the final system output was measured using the F1 score. Stanford CoreNLP with the Twitter model had an average F1 of 0.69 while the improved system had a F1 of 0.77. The accuracy of the system could be improved by using a complete domain specific corpus. Since the system used linguistic features of a sentence, it could be applied to other NLP tools.

研究の動機と目的

• 140文字制限による短く、曖昧でノイズの多いツイッターのコンテンツから意味のあるキーワードを抽出する課題に対処すること。
• 一般的なNLPツールがソーシャルメディアで一般的なドメイン特化した非公式な言語を処理する際の限界を克服すること。
• 文脈的特徴とドメイン特化したコーパスを活用して、ツイッターに特化した堅牢なルールベースのキーワード抽出システムを構築すること。
• 言語的前処理とTuringテストによる評価を通じた反復的改善により、キーワード抽出のパフォーマンスを向上させること。
• F1スコアなどの定量的指標とTuringテストによる人間評価を通じて、システムの有効性を実証すること。

提案手法

• 通信会社のツイッター公式アカウントの投稿からドメイン特化したコーパスを構築し、システムの訓練と評価に用いた。
• スタンフォードCoreNLPのPOSタッパーにツイッター用モデルを適用し、名詞句や動詞句を初期のキーワード候補として特定した。
• ノイズをフィルタリングし、POSタッパーが見逃した追加のキーワードを抽出するためにルールベースのパーサーを適用した。
• 2段階目の改善として、意味的正確性を向上させるために名前付きエンティティ認識（NER）と語形還元（Lemmatization）を統合した。
• Turingテストを用いてシステムのパフォーマンスを評価し、システム出力が人間が書いたキーワードと人間がどれほど区別できないかを比較した。
• 最終的なパフォーマンスを、ベースラインのスタンフォードCoreNLPモデルと比較したKeyXtractシステムのキーワード抽出におけるF1スコアで測定した。

実験結果

リサーチクエスチョン

• RQ1 ルールベースのキーワード抽出システムは、短く非公式なツイッター文書から重要なキーワードを抽出する際、一般的なNLPツールを上回ることができるか？
• RQ2 ドメイン特化したコーパスと言語的前処理を組み込むことで、ツイッターにおけるキーワード抽出の正確性はどの程度向上するか？
• RQ3 名前付きエンティティ認識と語形還元の統合は、システムが人間と似た出力を生成する能力にどのように影響するか？
• RQ4 Turingテストは、ソーシャルメディア文脈におけるキーワード抽出システムの評価指標として妥当であるか？
• RQ5 ドメイン特化したコーパスと言語的前処理の改善をベースとなるNLPモデルに適用した際、F1スコアにどの程度の向上が見られるか？

主な発見

• KeyXtractシステムは、F1スコアを0.69（スタンフォードCoreNLPにツイッター用モデルを適用したベースライン）から0.77まで向上させた。
• 2段階目の改善後、Turingテストの合格率が50.00%から83.33%に上昇し、出力の質が人間の出力に近づいたことが示された。
• 名前付きエンティティ認識と語形還元の統合により、意味的に関連性の高いキーワードを抽出する能力が顕著に向上した。
• ドメイン特化したコーパスの使用がパフォーマンス向上に不可欠であったため、より包括的なドメインコーパスを用いることで、さらなる精度向上が可能であると示唆された。
• ルールベースのアプローチに言語的特徴を組み合わせた手法は、短いフォーマットのソーシャルメディア文書におけるノイズや曖昧さに対処するのに効果的であった。
• POSタグ、NER、語形還元といった標準的な言語的特徴に依存しているため、システムの設計は他のNLPツールとの統合が可能である。