[論文レビュー] Why So Down? The Role of Negative (and Positive) Pointwise Mutual Information in Distributional Semantics

Alexandre Salle, Aline Villavicencio|arXiv (Cornell University)|Aug 19, 2019

Bayesian Modeling and Causal Inference被引用数 9

ひとこと要約

本稿は、分布的意味論における負のおよび正のポイントワイズ相互情報量（PMI）の役割を調査し、新たなPMI変種を提案。正のPMIが意味的および構文的情報を捉え、負のPMIが主に構文的情報を捉えることを示した。研究は、負のPMIスケールを保持するモデルとほぼ同等の性能を示すPPMI（正のPMI）手法の有用性を裏付け、負のPMIが暗黙の構文的制約を符号化することを明らかにした。これにより、分布的仮説を改訂：「単語は、その周囲の語（仲間）と、その周囲にない語（拒否する仲間）によって特徴づけられる」。

ABSTRACT

In distributional semantics, the pointwise mutual information ($\\mathit{PMI}$) weighting of the cooccurrence matrix performs far better than raw counts. There is, however, an issue with unobserved pair cooccurrences as $\\mathit{PMI}$ goes to negative infinity. This problem is aggravated by unreliable statistics from finite corpora which lead to a large number of such pairs. A common practice is to clip negative $\\mathit{PMI}$ ($\\mathit{\ exttt{-} PMI}$) at $0$, also known as Positive $\\mathit{PMI}$ ($\\mathit{PPMI}$). In this paper, we investigate alternative ways of dealing with $\\mathit{\ exttt{-} PMI}$ and, more importantly, study the role that negative information plays in the performance of a low-rank, weighted factorization of different $\\mathit{PMI}$ matrices. Using various semantic and syntactic tasks as probes into models which use either negative or positive $\\mathit{PMI}$ (or both), we find that most of the encoded semantics and syntax come from positive $\\mathit{PMI}$, in contrast to $\\mathit{\ exttt{-} PMI}$ which contributes almost exclusively syntactic information. Our findings deepen our understanding of distributional semantics, while also introducing novel $PMI$ variants and grounding the popular $PPMI$ measure.

研究の動機と目的

• 負のPMIが共起行列の低ランク行列因子分解において果たす役割を理解すること。
• PPMIのように負のPMIをゼロに収縮させることで有用な情報が失われるか、性能に与える影響を評価すること。
• 負のPMIが意味的タスクに有意義に寄与するか、主に構文的特徴に寄与するかを調査すること。
• 負のPMI値の全スケールを考慮する新たなPMI変種を提案すること。
• フィルスの分布的仮説を、負の共起パターンが語の表現に情報を持つとみなすように拡張すること。

提案手法

• 対称的なスライディングウインドウを用いて、サブサンプルされたコーパスから共起行列を構築する。
• PMIの標準式を用いて計算：PMI(w,c) = log(M_wc * M_** / (M_w* * M_*c))。
• 負の値を処理するため、クリッピングPMI（CPMI_z）を提案：max(z, PMI(w,c))。PPMIはz=0の特別なケースである。
• 負のPMIのスケールを考慮する2つの新規PMI変種を導入：NNEGPMI（正規化された負のPMI）およびNPMI（正規化されたPMI）。
• 変換された行列（例：PPMI、CPMI_z、NNEGPMI）の低ランク重み付き因子分解を実行し、密な語の表現を得る。
• 意味的（SimLex, RW, アナロジー）、構文的（品詞タグ付け、依存解析、トポロジカルクラスタリング）、意味的類似度タスクでモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 負のPMIに符号化された言語的情報は、正のPMIと比べてどのようなものか？
• RQ2 PPMIのように負のPMIをゼロに収縮させることで、意味的および構文的タスクの性能に顕著な損失が生じるか？
• RQ3 負のPMIは、特にアナロジー課題において希少語の表現を改善できるか？
• RQ4 負のPMI値のスケールを保持することは、クリッピングや正規化と比較してモデル性能にどのように影響するか？
• RQ5 負のPMIは、意味的コンテンツよりも、どの程度構文的制約を反映しているか？

主な発見

• 正のPMIのみでほぼすべての意味的および構文的タスクで同等または優れた性能を示し、意味と構文の両方を捉えていることを示した。
• 負のPMIは意味的タスク（例：SimLex：Spearman 30.5–34.7、RW：16.6–30.5%）では低く、品詞タグ付け（88.8–92.6%）および依存解析（32.4–34.7%）では他のモデルと同等または上回り、構文的特化性を裏付けた。
• 負のPMIをゼロにクリッピングするPPMIモデルは、負のPMIスケールを保持するモデル（例：CPMI_-2：品詞タグ付けで92.6%、WCで31.1%）とほぼ同等の性能を示し、広く用いられる正当性を裏付けた。
• 正のPMIのスケールを保持するモデル（例：CPMI_-2、NNEGPMI）は、スケールを無視するモデル（例：NPMI）を上回り、意味的タスクではスケールが構文的タスクよりも重要であることを示唆した。
• 負のPMIはほとんどが構文的一般化に寄与し、観測されない共起の暗黙の文法的制約を符号化していると考えられる。
• 全スケールモデル（例：PPMI）は全体的に最高の性能を示したが、これは正のPMIが支配的であるため。負のPMIは意味的価値をほとんど追加しないが、関係のない語を遠ざけることで希少語のアナロジーに寄与する可能性がある。