[論文レビュー] Improving Pointwise Mutual Information (PMI) by Incorporating Significant Co-occurrence

Om Damani|arXiv (Cornell University)|Jul 2, 2013

Web Data Mining and Analysis参考文献 14被引用数 12

ひとこと要約

この論文では、単語レベルの頻度の代わりに文書レベルの頻度を用いることで、コーパスレベルの有意な共起を統合することにより、PMI（ポイントワイズ相互情報量）を改善する新しい語関連測度cPMIdを提案する。この手法は、従来の共起測度を上回り、リソース集約的な分布的および知識ベースの手法と同等の性能を発揮するが、主な性能向上要因はコーパスレベルの有意性と文書頻度に起因し、文書レベルの有意性によるものではない。

ABSTRACT

We design a new co-occurrence based word association measure by incorporating the concept of significant cooccurrence in the popular word association measure Pointwise Mutual Information (PMI). By extensive experiments with a large number of publicly available datasets we show that the newly introduced measure performs better than other co-occurrence based measures and despite being resource-light, compares well with the best known resource-heavy distributional similarity and knowledge based word association measures. We investigate the source of this performance improvement and find that of the two types of significant co-occurrence - corpus-level and document-level, the concept of corpus level significance combined with the use of document counts in place of word counts is responsible for all the performance gains observed. The concept of document level significance is not helpful for PMI adaptation.

研究の動機と目的

• 従来のPMIを、特にコーパスレベルの有意な共起の概念を統合することで改善すること。
• 文書レベルの有意な共起がPMIの適応に意味的に寄与するかどうかを調査すること。
• リソース集約的でない、高パフォーマンスな語関連測度の代替案を開発すること。
• 単語頻度の代わりに文書頻度を用いることで、有意性の概念とは独立して性能が向上するかどうかを特定すること。
• 新しい測度の多様なデータセットおよびパラメータ設定における頑健性を評価すること。

提案手法

• cPMIdを導入し、文書ベースの頻度の統計的有意性を適用した修正PMIを実装する。
• PMIにおける単語レベルの頻度を、文書レベルの頻度（d(x), d(y), d(x,y)）に置き換えることで、スパarsityバイアスを低減する。
• カイ二乗検定に基づく統計的有意性項を導入し、期待される共起からの逸脱を制限する。
• 調整可能なパラメータδを用いて有意性の閾値を制御し、共起頻度の期待される逸脱を調整する。
• cPMIdを次式で導出する：log[ d(x,y) / (d(x)*d(y)/D + √d(x)*√(ln δ / (-2))) ]、ここでδ ∈ (0,1)。
• 複数のデータセットと評価指標を用いて、cPMIdをPMI、PMId、PMIz、CSR、PMI²、nPMI、Dice、Jaccardと比較する。

実験結果

リサーチクエスチョン

• RQ1 PMIにコーパスレベルの有意な共起を統合することで、語関連のパフォーマンスが向上するか？
• RQ2 PMIの適応において、文書レベルの有意な共起は有益であるか、それとも価値をもたらさないか？
• RQ3 文書頻度に基づくPMIの変種は、標準的な単語頻度に基づくPMIや他の共起測度を上回る性能を発揮できるか？
• RQ4 新しい測度の性能は、調整可能なパラメータ（例：δやスパン閾値s）にどれほど感受するか？
• RQ5 新しい測度cPMIdは、リソース集約的な分布的および知識ベースの語関連手法と同等か、それ以上に性能を発揮するか？

主な発見

• cPMIdは、複数の自由関連および意味的類似度データセットにおいて、標準PMI、PMId、PMIz、CSR、Dice、Jaccard、PMI²、nPMIを顕著に上回る性能を発揮する。
• cPMIdの性能はcPMIzとほぼ同一であり、文書レベルの有意性がパフォーマンス向上に寄与していないことを示している。
• 主な向上要因は、コーパスレベルの有意性と文書レベルの頻度の組み合わせであり、文書レベルの有意性によるものではない。
• cPMIdはリソース軽量であるにもかかわらず、最も優れた分布的類似度および知識ベースの語関連測度と同等の性能を発揮する。
• パラメータの変動に対して頑健であり、δおよびスパン閾値の広い範囲で性能が安定している。
• 最適なデフォルトパラメータ設定はスパン閾値とδの組み合わせ(20w, 0.7)であるが、多くの組み合わせで高い性能が維持される。