[論文レビュー] Using compression to identify acronyms in text

Stuart Yeates, David Bainbridge+1 more|ArXiv.org|Jul 4, 2000

Algorithms and Data Compression参考文献 3被引用数 16

ひとこと要約

本稿では、損失なし圧縮を用いてアクリオンとその定義のペアの尤度をモデル化することで、テキスト内のアクリオンとその定義を検出する圧縮ベースの手法を提案する。3文字以上のアクリオンに対して、80%の再現率で85–90%の高精度を達成し、手動で設計されたルールに依存するのを減らす一方で、調整可能なしきい値を用いることで再現率と適合率の間で柔軟なトレードオフを実現する。

ABSTRACT

Text mining is about looking for patterns in natural language text, and may be defined as the process of analyzing text to extract information from it for particular purposes. In previous work, we claimed that compression is a key technology for text mining, and backed this up with a study that showed how particular kinds of lexical tokens---names, dates, locations, etc.---can be identified and located in running text, using compression models to provide the leverage necessary to distinguish different token types (Witten et al., 1999)

研究の動機と目的

• 手動で設計されたヒューリスティクスに依存せずに、平文テキストにおけるアクリオンとその定義を特定する手法を開発すること。
• 損失なし圧縮が、アクリオンとその定義のような関係的情報を検出する一般化されたメカニズムとして機能できるかどうかを検証すること。
• テキスト圧縮における統計的パターンを活用することで、手動で設計されたルールへの依存度を低減すること。
• 調整可能な圧縮しきい値を用いることで、再現率と適合率の間のバランスを調整可能なアクリオン検出手法を実現すること。

提案手法

• 本手法は、周囲の単語の頭文字とアクリオンの完全形式を組み合わせて、潜在的なアクリオン-定義ペアを符号化し、圧縮モデルを用いてその尤度を評価する。
• 候補となるアクリオン-定義シーケンスの圧縮効率を比較する基準として、PPM（部分一致による予測）圧縮アルゴリズムを用いる。
• しきい値 $ t $ が受け入れを制御する：圧縮比がPPMの $ t $ 倍未満である場合、強い統計的規則性を示すと判断され、候補が受け入れられる。
• 符号化方式は大文字・小文字や標点（例：括弧）をアクリオン構造のサインとして扱うが、現時点の実装ではこれらを十分に活用していない。
• 動的に、候補アクリオンの周囲のスライディングウィンドウ内ですべての可能なアクリオン-定義シーケンスを評価し、圧縮を用いて順位付け・選択を行う。
• 再現率-適合率曲線をさまざまなしきい値で評価することで、性能のトレードオフを分析可能にする。

実験結果

リサーチクエスチョン

• RQ1 損失なし圧縮を用いることで、手動で設計されたヒューリスティクスに依存せずにテキスト内のアクリオンとその定義を検出できるか？
• RQ2 圧縮ベースの手法は、従来のヒューリスティクスベースの手法と比較して、再現率と適合率の両面で優れているか？
• RQ3 圧縮モデルは、真のアクリオン-定義ペアとランダムな頭文字のシーケンスをどの程度正確に区別できるか？
• RQ4 大文字・小文字情報や標点を圧縮モデルに組み込むと、性能にどのような影響を与えるか？
• RQ5 本手法は、再現率と適合率の望みのバランスを達成できるように調整可能か？

主な発見

• 圧縮ベースの手法は、3文字以上のアクリオンに対して、最大80%の再現率で85–90%の適合率を達成し、TLAヒューリスティクス手法を著しく上回る。
• しきい値 $ t = 0.1 $ の場合、適合率はほぼ100%に達するが再現率は低い。これは、非常に圧縮しやすいシーケンスに対する強い信号検出を示している。
• しきい値を $ t = 0.2 $ に引き上げると、再現率は着実に向上し、3文字以上のアクリオンでは適合率は85–90%の安定した水準を維持する。
• $ t = 1.0 $ の場合、再現率は100%に達するが、3文字以上のアクリオンでは適合率が約60%に低下し、自然に見える頭文字のシーケンスからの誤検出が増加していることが示唆される。
• 本手法は、単純なPerlヒューリスティクスよりも優れており、すべてのしきい値で再現率と適合率の両方をTLAヒューリスティクスを上回る。
• 本手法は、ドキュメント内に同じアクリオンが複数回出現する場合にも頑健であるが、評価指標のノイズ要因として寄与する。