[論文レビュー] Beyond Stemming and Lemmatization: Ultra-stemming to Improve Automatic Text Summarization

Juan‐Manuel Torres‐Moreno|arXiv (Cornell University)|Sep 14, 2012

Topic Modeling参考文献 30被引用数 20

ひとこと要約

本稿では、自動テキスト要約（ATS）におけるベクタースペース次元の低減を著しく行う、Ultra-stemmingと呼ばれる新しい正規化手法を紹介する。この手法は各単語をその初期の文字にまで縮約する。三か国語のコーパスを用いた実験では、Ultra-stemmingは要約の内容を保持しつつ、要約器の性能を著しく向上させ、従来のステミングやレマルティゼーションを上回ることすらある。特に言語資源が限られる低リソース言語において顕著である。

ABSTRACT

In Automatic Text Summarization, preprocessing is an important phase to reduce the space of textual representation. Classically, stemming and lemmatization have been widely used for normalizing words. However, even using normalization on large texts, the curse of dimensionality can disturb the performance of summarizers. This paper describes a new method for normalization of words to further reduce the space of representation. We propose to reduce each word to its initial letters, as a form of Ultra-stemming. The results show that Ultra-stemming not only preserve the content of summaries produced by this representation, but often the performances of the systems can be dramatically improved. Summaries on trilingual corpora were evaluated automatically with Fresa. Results confirm an increase in the performance, regardless of summarizer system used.

研究の動機と目的

• ステミングやレマルティゼーションといった既存の正規化手法が存在するにもかかわらず、自動テキスト要約（ATS）における次元の呪いを解消すること。
• 語彙資源や解析ツールが入手できない低リソース言語において、極端な正規化が実用的代替手段として有効であるかを検討すること。
• 単語をその初期の文字にまで縮約することで、要約の質を維持または向上させられるかを評価すること。
• ベクタースペースモデルを用いたATSシステムにおける時間的・空間的計算複雑性を低減すること。
• 多言語および低リソースNLP応用に適した、軽量でリソースに依存しない前処理手法を提供すること。

提案手法

• 各単語をその初期の文字（複数可）にまで縮約する正規化手法として、Ultra-stemmingを提案する。例：'improving' → 'i'、'information' → 'i'。
• 抽出的要約システムにおけるベクタースペースモデル（VSM）表現の前処理として、Ultra-stemmingを適用する。
• Fresa自動評価メトリクスを用いて、英語・フランス語・スペイン語の三か国語コーパスにおいて要約品質を評価する。
• 標準的な抽出的要約パイプライン（VSMに基づく）を用い、語の頻度とベクトル類似度に基づく文のランク付けを行う。
• 同一の要約器アーキテクチャを用いて、Ultra-stemmingをステミングやレマルティゼーションといったベースライン手法と比較する。
• 複数の言語および要約器システムにわたって手法を適用し、耐久性と一般化性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 自動テキスト要約において、単語を初期の文字にまで縮約することで、要約の意味的コンテンツを保持できるか？
• RQ2 Ultra-stemmingは、要約性能の観点で従来のステミングやレマルティゼーションを上回るか？
• RQ3 標準的な正規化手法と比較して、Ultra-stemmingは時間的・空間的計算複雑性をどの程度低減できるか？
• RQ4 語彙資源（辞書やパーサーなど）が不足する低リソース言語において、Ultra-stemmingが実用的代替手段として有効であるか？
• RQ5 異なる要約器システムおよび多言語環境において、Ultra-stemmingの性能向上効果が一貫して得られるか？

主な発見

• Ultra-stemmingは、使用されたすべての三か国語コーパスにおいて、下流の要約器アーキテクチャにかかわらず、要約性能を著しく向上させる。
• この手法によりベクタースペースの次元が極端に低減され、計算効率の向上とメモリ使用量の削減が顕著に見られる。
• 極端な正規化にもかかわらず、生成された要約の内容と一貫性が保持されており、初期の文字が十分な識別力を持つことが示唆される。
• Fresa評価スコアにおいて一貫した向上が観察され、Ultra-stemmingの多様な言語およびシステムへの耐性が裏付けられる。
• 従来のレマルティゼーションやステミングツールが入手困難または不適切な低リソース言語環境において、Ultra-stemmingは特に効果的である。
• 結果から、Ultra-stemmingは従来の語彙的正規化手法に代わる、実用的で軽量かつ高性能な代替手段であることが確認された。