[論文レビュー] Investigating Keyphrase Indexing with Text Denoising

Rushdi Shams, Robert E. Mercer|arXiv (Cornell University)|Apr 10, 2012

Advanced Text Analysis Techniques参考文献 10被引用数 5

ひとこと要約

本稿では、食品・農業、高エネルギー物理学、生物医学分野の3分野において、Mauiキーフレーズインデクサーを用いて、テキストのノイズ除去がキーフレーズインデキシング性能に与える影響を調査している。元の長さの70%に相当するノイズ除去済みテキストでMauiを訓練した結果、完全なテキストでのベンチマーク性能と同等またはそれを上回るインデキシング性能が得られ、Fog指数を用いて特定された内容豊富な文が、ドキュメント全体のサイズよりもキーフレーズ抽出の性能向上に寄与することが示された。

ABSTRACT

In this paper, we report on indexing performance by a state-of-the-art keyphrase indexer, Maui, when paired with a text extraction procedure called text denoising. Text denoising is a method that extracts the denoised text, comprising the content-rich sentences, from full texts. The performance of the keyphrase indexer is demonstrated on three standard corpora collected from three domains, namely food and agriculture, high energy physics, and biomedical science. Maui is trained using the full texts and denoised texts. The indexer, using its trained models, then extracts keyphrases from test sets comprising full texts, and their denoised and noise parts (i.e., the part of texts that remains after denoising). Experimental findings show that against a gold standard, the denoised-text-trained indexer indexing full texts, performs either better than or as good as its benchmark performance produced by a full-text-trained indexer indexing full texts.

研究の動機と目的

• テキストのノイズ除去が完全なテキストでの訓練と比較してキーフレーズインデキシング性能を向上させるかどうかを評価すること。
• 多様な分野におけるキーフレーズ抽出において、最適なノイズ除去しきい値（テキスト長さの観点）を特定すること。
• 低熟読性・内容貧困なテキスト（ノイズ）を除去することで、インデクサーの性能が向上するか、悪化するかを評価すること。
• 当初、生物医学関係抽出を目的として開発されたテキストのノイズ除去が、キーフレーズインデキシングにも効果的に一般化されるかを調査すること。
• 精度、再現率、Fスコア、およびインデクサー間一致度（Fleissのカappa）という指標を用いて、Mauiのノイズ除去済みテキスト、完全テキスト、ノイズテキストサブセットにおける性能を比較すること。

提案手法

• Fog指数を用いて、文の構文的複雑さや多音節語の多さに基づき、読みやすさの観点から上位70%の内容豊富な文を特定し、テキストのノイズ除去を実施する。
• ノイズ除去済みテキストは、食品・農業（FAO-780）、高エネルギー物理学（CERN-290）、生物医学（NLM-500）の3分野の完全なドキュメントから抽出される。
• 最先端のキーフレーズインデクサーであるMauiを、完全なテキストとノイズ除去済みテキストサブセットの両方で訓練し、2つのモデルバージョン（完全テキスト訓練済み、ノイズ除去済みテキスト訓練済み）を構築する。
• すべてのデータセットで10分割交差検証を用いて訓練とテストを実施し、性能評価の信頼性を確保する。
• 標準指標（精度、再現率、Fスコア、およびゴールドスタンダードとのFleissのカappaによるインデクサー間一致度）を用いて性能を評価する。
• ノイズテキスト（元のテキストの30%）もテストされ、キーフレーズ抽出に寄与するか、それとも害を及ぼすかを評価する。

実験結果

リサーチクエスチョン

• RQ1 元のテキストの70%に相当するノイズ除去済みテキストでMauiを訓練した場合、完全なテキストで訓練した場合と比較して、キーフレーズインデキシング性能が向上するか、同等かを確認できるか？
• RQ2 キーフレーズ抽出性能を最大化するための最適なノイズ除去しきい値（元のテキストのパcentageとして）は、異なる分野においてどの程度か？
• RQ3 ノイズ除去済みテキストにおけるMauiの性能は、完全なテキストおよびノイズテキストサブセットにおける性能と比較してどうか？
• RQ4 生物医学的テキストにおいて、テキストのノイズ除去がインデキシング品質をどの程度向上させるか？非生物医学的分野と比較して。
• RQ5 ノイズテキスト（30%の削除）は本当に寄与しないのか、それとも潜在的なキーフレーズ信号を含んでいるのか？

主な発見

• NLM-500生物医学コロナにおいて、ノイズ除去済みテキストで訓練したMauiは、Fスコア31.50を達成し、95%信頼区間でベンチマークのFスコア31.13をわずかに上回った。
• CERN-290物理学コロナにおいて、ノイズ除去済みテキストで訓練したMauiのモデルは、完全なテキストをインデキシングする際、Fスコア24.82を記録し、専用のBibClassifyインデクサー（Fスコア：18.80）を上回った。
• FAO-780食品・農業コロナにおいて、ノイズ除去済みテキストで訓練したMauiの性能は、完全なテキストモデルのベンチマーク性能と同等またはそれを上回った。
• インデクサー間一致度の測定結果から、特に生物医学的テキストにおいて、ノイズ除去済みテキストを使用した場合、Mauiのキーフレーズ品質が高いか、もしくは向上することが確認された。
• ノイズテキスト（元のテキストの30%）はインデキシング性能を向上させず、誤差率を上昇させたため、有用なキーフレーズ信号をほとんど含んでいないことが示された。
• テキストのノイズ除去は、生物医学的関係抽出の目的で開発されたが、キーフレーズインデキシングに対しても有効であり、物理学や農業などの非生物医学的分野に対してもその利点が拡張可能であることがわかった。