[論文レビュー] Effects of High-Order Co-occurrences on Word Semantic Similarities

Benoı̂t Lemaire, Guy Denhière|ArXiv.org|Apr 1, 2008

Topic Modeling参考文献 21被引用数 22

ひとこと要約

本稿では、テキストへの露出を通じて語の意味がどのように形成されるかを模擬する計算モデルを提案する。特に、高次の共起が意味的類似性に与える影響に焦点を当てている。実証結果から、直接的な共起が類似性の認識を強く高める一方で、他の語と共有する文脈（高次の共起）による影響は小さいが有意に正の効果を示すことが判明した。これは、頻度に基づく類似性測定法が、共起頻度そのものに起因するバイアスのため、意味的関連性を過大評価している可能性を示唆している。

ABSTRACT

A computational model of the construction of word meaning through exposure to texts is built in order to simulate the effects of co-occurrence values on word semantic similarities, paragraph by paragraph. Semantic similarity is here viewed as association. It turns out that the similarity between two words W1 and W2 strongly increases with a co-occurrence, decreases with the occurrence of W1 without W2 or W2 without W1, and slightly increases with high-order co-occurrences. Therefore, operationalizing similarity as a frequency of co-occurrence probably introduces a bias: first, there are cases in which there is similarity without co-occurrence and, second, the frequency of co-occurrence overestimates similarity.

研究の動機と目的

• テキスト入力への露出を通じて語の意味がいかに構築されるかをモデル化すること。
• 高次の共起が語の間の認識される意味的類似性に与える影響を調査すること。
• 頻度に基づく類似性測定法が意味的類似性推定にバイアスをもたらすかどうかを評価すること。
• テキストストリームを段落ごとに処理しながら、意味的類似性の発展をシミュレートすること。

提案手法

• 計算モデルは、テキストを段落単位で段階的に学習させ、語の共起パターンを追跡する。
• 意味的類似性は、共起頻度から導かれる関連強度として定式化される。
• 直接共起（W1とW2が同時に出現する）と高次の共起（W1とW2が他の語W3と共有する文脈に出現する）を区別する。
• 類似性は、頻度重み付きの関連度指標を用いて計算され、ペアで出現しない場合の調整が施される。
• 新しいテキストが処理されるたびに類似性の変化を評価し、共起パターンの変化を追跡する。
• 高次の共起は、直接的な語のペアではなく、共有される文脈的近傍（contextual neighbors）を介してモデル化される。

実験結果

リサーチクエスチョン

• RQ1 二語間の直接的共起が、それらの認識される意味的類似性にどのように影響するか？
• RQ2 共起する文脈（共有コンテキスト）としての高次の共起は、直接的共起を上回る意味的類似性にどの程度寄与するか？
• RQ3 共起頻度に起因するバイアスのため、頻度に基づく類似性推定が実際の意味的関連性を過大評価しているか？
• RQ4 テキストが段落ごとに処理されるにつれて、意味的類似性はどのように段階的に変化するか？

主な発見

• 二語間の直接的共起は、それらの認識される意味的類似性を強く高める。
• 一方の語が出現する際、もう一方の語が出現しない（ペアでない）状況は、二語間の認識される類似性を低下させる。
• 高次の共起（たとえば、W1とW2が共に第3の語W3と文脈的に共起する）は、小さいが有意な正の効果を類似性に与える。
• 本研究では、頻度に基づく類似性測定法に体系的なバイアスが存在することが判明した。共起頻度に過剰に依存するため、直接的な関連性がなくても意味的類似性が過大評価される。
• 共起しないにもかかわらず、真正の意味的類似性を示す語のペアが存在する。これは、共起頻度だけでは意味的関連性を十分に測定できないことを示している。