[論文レビュー] Lexical Co-occurrence, Statistical Significance, and Word Association

Dipak Chaudhari, Om Damani+1 more|arXiv (Cornell University)|Aug 31, 2010

Authorship Attribution and Profiling参考文献 28被引用数 23

ひとこと要約

本稿では、二語組の両方の語を含む文書内のスパン分布に注目することで、グローバルな単語頻度に依存せずに、語の意味的有意な共起を検出する統計的枠組みを提案する。ランダムな語の位置入れ替えに基づく帰無仮説モデルを導入し、語間距離の偏りを検出する。Ochiaiと新規に導入された測定指標CSAが、PMIなどの伝統的指標よりも真の語の関連性を効果的に特定していることが示された。

ABSTRACT

Lexical co-occurrence is an important cue for detecting word associations. We present a theoretical framework for discovering statistically significant lexical co-occurrences from a given corpus. In contrast with the prevalent practice of giving weightage to unigram frequencies, we focus only on the documents containing both the terms (of a candidate bigram). We detect biases in span distributions of associated words, while being agnostic to variations in global unigram frequencies. Our framework has the fidelity to distinguish different classes of lexical co-occurrences, based on strengths of the document and corpuslevel cues of co-occurrence in the data. We perform extensive experiments on benchmark data sets to study the performance of various co-occurrence measures that are currently known in literature. We find that a relatively obscure measure called Ochiai, and a newly introduced measure CSA capture the notion of lexical co-occurrence best, followed next by LLR, Dice, and TTest, while another popular measure, PMI, suprisingly, performs poorly in the context of lexical co-occurrence.

研究の動機と目的

• グローバルな単語頻度の影響に依存しない、統計的に根拠のある語の共起検出手法の開発。
• 語の位置のランダムな入れ替えに基づく帰無仮説モデルを形式化し、語のペアの非ランダムなクラスタリングを検出する。
• 文書レベルおよびコーパスレベルの共起シグナルに基づいて、語の共起の異なるタイプを区別する。
• 既存の頻度ベースの共起測定指標が、統計的に有意義な語の関連性をどれほど効果的に特定できるかを評価・比較する。
• 他の関連性測定指標の評価に使用可能なゴールドスタンダードのベンチマークを提供する。

提案手法

• 語の位置をランダムに並び替えることで、偶然の共起を模擬する帰無仮説モデルを用い、非ランダムなスパン分布の検出を可能にする。
• 候補となる二語組の両方の語を含む文書のみを対象とし、関連する文脈に焦点を当て、グローバル頻度の影響によるノイズを低減する。
• 観測された二語組のスパン分布を帰無分布と比較して有意性検定を実施し、共起が統計的に有意かどうかを評価する。
• 文書レベルおよびコーパスレベルの共起信号の強さに基づいて、共起を異なるタイプに分類する枠組みを構築する。
• 3つのベンチマークデータセット（sim, rel, essli）を用いて評価を行い、人間の判断順位と照らし合わせて性能を測定する。
• 主な評価対象指標にはOchiai, CSA, LLR, Dice, TTest, PMIが含まれ、主な評価指標としてCSAの対称版であるCSRが使用された。

実験結果

リサーチクエスチョン

• RQ1 グローバルな単語頻度の影響を最小限に抑えて、統計的に有意義な語の共起をどのように検出できるか。
• RQ2 スパン分布（語間距離）は、意味的な語の関連性を特定する上でどのような役割を果たすか。
• RQ3 既存の頻度ベースの共起測定指標の中で、語の共起という概念を最もよく捉えているのはどれか。
• RQ4 語の共起という文脈において、PMIの性能は他の指標と比べてどの程度か。
• RQ5 統計的共起測定指標と人間の語関連性判断との間には、どの程度の相関があるか。

主な発見

• Ochiai指標と新たに導入されたCSA指標が、他のすべての共起測定指標よりも、統計的に有意義な語の共起を効果的に捉えている。
• PMI指標は人気があるが、特に近接した距離での共起を特定する点で、真の語の関連性を効果的に捉えていない。
• LLR, Dice, TTestはOchiaiとCSAに次いで性能が高く、意味のある共起を検出する上で中程度の有効性を示している。
• CSR指標（CSAの対称版）は、simデータセットで人間の判断と相関係数0.74、relデータセットで0.65、essliデータセットで0.46を記録した。
• 本フレームワークは、文書レベルとコーパスレベルの両方の手がかりを活用することで、異なるタイプの共起を効果的に区別でき、語の関連性の分類が可能になった。
• 本研究では、語の共起が人間のアノテーターが見逃すような微細な統計的パターンを捉える、独立したが相関のある語関連性の次元であることが示された。