[論文レビュー] Automated Phrase Mining from Massive Text Corpora

Jingbo Shang, Jialu Liu+4 more|arXiv (Cornell University)|Feb 15, 2017

Topic Modeling被引用数 12

ひとこと要約

本稿では、一般知識ベース（例：Wikipedia）からの高品質な語句を遠隔教師付き学習に活用することで、人為的ラベルデータの必要性を排除する完全自動の語句抽出フレームワーク、AutoPhraseを提案する。本研究では、正例のみの遠隔学習と品詞（POS）ガイド付き語句分割を導入し、多様なドメインおよび言語において性能を向上させ、最先端手法と比較して再現率と効率性に顕著な向上を達成した。

ABSTRACT

As one of the fundamental tasks in text analysis, phrase mining aims at extracting quality phrases from a text corpus. Phrase mining is important in various tasks such as information extraction/retrieval, taxonomy construction, and topic modeling. Most existing methods rely on complex, trained linguistic analyzers, and thus likely have unsatisfactory performance on text corpora of new domains and genres without extra but expensive adaption. Recently, a few data-driven methods have been developed successfully for extraction of phrases from massive domain-specific text. However, none of the state-of-the-art models is fully automated because they require human experts for designing rules or labeling phrases. Since one can easily obtain many quality phrases from public knowledge bases to a scale that is much larger than that produced by human experts, in this paper, we propose a novel framework for automated phrase mining, AutoPhrase, which leverages this large amount of high-quality phrases in an effective way and achieves better performance compared to limited human labeled phrases. In addition, we develop a POS-guided phrasal segmentation model, which incorporates the shallow syntactic information in part-of-speech (POS) tags to further enhance the performance, when a POS tagger is available. Note that, AutoPhrase can support any language as long as a general knowledge base (e.g., Wikipedia) in that language is available, while benefiting from, but not requiring, a POS tagger. Compared to the state-of-the-art methods, the new method has shown significant improvements in effectiveness on five real-world datasets across different domains and languages.

研究の動機と目的

• 人的作業と言語処理のカスタマイズを最小限に抑える完全自動の語句抽出フレームワークの開発。
• 高価な人的ラベル付けや複雑な言語解析器に依存する既存手法の限界を解決すること。
• ドメイン固有の学習データを必要とせず、多様なドメインおよび複数言語において語句抽出の性能を向上させること。
• 従来手法がしばしば見逃す高品質な単語語句（例：'UIUC' や 'USA'）を含めることで再現率を向上させること。
• 強固な遠隔学習と並列化インデキシングにより、スケーラビリティと効率性を向上させること。

提案手法

• AutoPhraseは、Wikipediaなどの一般知識ベースから得られる高品質な語句を正例ラベルとして利用する正例のみの遠隔学習戦略を採用し、人的ラベル付けを回避する。
• ターゲットドメインコーパスから負例ラベルを構築し、複数の独立したベース分類器の予測を集約することでノイズを低減する。
• 事前学習済みの品詞（POS）タガーが利用可能な場合、品詞タグを活用したPOSガイド付き語句分割モデルにより、語句境界検出の精度を向上させる。
• 任意の言語で利用可能であり、その言語に一般知識ベースが存在する限り、多言語語句抽出を可能にする。
• 人気度、情報量、独立性の基準を適用して高品質な単語語句を含める拡張を実施し、独立性を測る指標として補正された頻度比を用いる。
• 効率的なインデキシングと並列化戦略を採用し、SegPhraseなどの先行手法と比較して最大11倍の高速化と80–86%のメモリ削減を達成する。

実験結果

リサーチクエスチョン

• RQ1 人的ラベル付き語句や複雑な言語処理ツールを一切必要とせずに、語句抽出を完全に自動化できるか？
• RQ2 低リソースドメインにおいて、一般知識ベースを正例学習信号の供給源として活用することは、語句抽出にどの程度有効か？
• RQ3 多言語環境において、品詞タグ情報を組み込むことで、語句境界検出の精度はどの程度向上するか？
• RQ4 高品質な単語語句を含めることで、語句抽出全体の再現率にどのような影響を与えるか？
• RQ5 既存の最先端手法と比較して、AutoPhraseは異なるドメインおよび言語においてどの程度スケーリング可能か？

主な発見

• AutoPhraseは、英語、スペイン語、中国語の5つの実世界データセットにおいて、高品質な単語語句を含めた場合に再現率が10–30%向上し、顕著な向上を達成した。
• 単語語句（例：'UIUC' や 'USA'）を含めることで再現率が著しく向上し、特にトークン化後にこのような語句が頻出する中国語において顕著であった。
• 単語語句対応を追加したAutoPhrase+は、中国語において特に初期段階の再現率でAutoPhraseを上回り、特定の言語において単語語句の重要性を示した。
• 最適化されたインデキシングと並列化により、メモリ使用量を80–86%削減し、実行時間を最大11倍高速化した。
• Wikipediaなどの知識ベースを用いた強固な正例のみの遠隔学習により、人的ラベル付けの必要性が排除されつつ、ドメインおよび言語を問わず高い性能を維持した。
• 事前学習済みのPOSタガーが利用可能な場合、POSガイド付き語句分割により精度が向上し、ドメイン独立性を損なわず、性能を向上させた。