[논문 리뷰] Why So Down? The Role of Negative (and Positive) Pointwise Mutual Information in Distributional Semantics

Alexandre Salle, Aline Villavicencio|arXiv (Cornell University)|2019. 08. 19.

Bayesian Modeling and Causal Inference인용 수 9

한 줄 요약

이 논문은 분포의어미학에서 음성 및 양성 점별 상호정보량(PMI)의 역할을 조사하며, 새로운 PMI 변형을 제안하고, 양성 PMI가 의미적 및 문법적 정보를 모두 포착하는 반면 음성 PMI가 주로 문법적 정보에 기여함을 입증한다. 연구는 PPMI(양성 PMI) 방법이 널리 사용되는 이유를 밝혀내며, 이는 음성 PMI 스케일을 유지하는 모델과 거의 동일한 성능을 보이며, 음성 PMI가 암묵적인 문법적 제약을 캡처함을 보여주어 분포의어미학 가설을 수정한다: '단어는 그가 함께 쓰이는 단어들과 함께 쓰이지 않는 단어들에 의해 특징지어진다.'

ABSTRACT

In distributional semantics, the pointwise mutual information ($\\mathit{PMI}$) weighting of the cooccurrence matrix performs far better than raw counts. There is, however, an issue with unobserved pair cooccurrences as $\\mathit{PMI}$ goes to negative infinity. This problem is aggravated by unreliable statistics from finite corpora which lead to a large number of such pairs. A common practice is to clip negative $\\mathit{PMI}$ ($\\mathit{\ exttt{-} PMI}$) at $0$, also known as Positive $\\mathit{PMI}$ ($\\mathit{PPMI}$). In this paper, we investigate alternative ways of dealing with $\\mathit{\ exttt{-} PMI}$ and, more importantly, study the role that negative information plays in the performance of a low-rank, weighted factorization of different $\\mathit{PMI}$ matrices. Using various semantic and syntactic tasks as probes into models which use either negative or positive $\\mathit{PMI}$ (or both), we find that most of the encoded semantics and syntax come from positive $\\mathit{PMI}$, in contrast to $\\mathit{\ exttt{-} PMI}$ which contributes almost exclusively syntactic information. Our findings deepen our understanding of distributional semantics, while also introducing novel $PMI$ variants and grounding the popular $PPMI$ measure.

연구 동기 및 목표

• 낮은 질량 행렬 분해에서 공현 행렬의 음성 PMI의 역할을 이해하기 위해.
• PPMI에서처럼 음성 PMI를 0으로 축소하는 것이 유용한 정보를 손실하게 되는지 아니면 성능에 의해 정당화되는지 평가하기 위해.
• 음성 PMI가 의미적 과제에 실제로 기여하는지 아니면 주로 문법적 성질에 기여하는지 조사하기 위해.
• 음성 PMI 값의 전체 스펙트럼을 고려하는 새로운 PMI 변형을 제안하기 위해.
• 피어스의 분포의어미학 가설을 음성 공현 패tern을 포함하여 확장하기 위해.

제안 방법

• 대칭 슬라이딩 윈도우를 사용하여 코퍼스를 부분적으로 샘플링하여 공현 행렬을 구성한다.
• 표준 PMI를 다음 공식을 사용해 계산한다: PMI(w,c) = log(M_wc * M_** / (M_w* * M_*c)).
• 음성 값을 처리하기 위해 클리핑된 PMI(CPMI_z)를 제안한다: max(z, PMI(w,c))로, z=0일 때 PPMI의 특수한 경우가 된다.
• 음성 PMI의 스케일을 고려하기 위해 새로운 두 가지 PMI 변형을 도입한다: NNEGPMI(정규화된 음성 PMI)와 NPMI(정규화된 PMI).
• 변환된 행렬(예: PPMI, CPMI_z, NNEGPMI)의 낮은 질량 가중치 분해를 수행하여 조밀한 단어 임베딩을 유도한다.
• 모델을 의미적(시멀렉스, RW, 어휘 유사성), 문법적(품사 태깅, 의존성 파싱, 위상적 군집), 의미 유사성 과제에서 평가한다.

실험 결과

연구 질문

• RQ1 음성 PMI는 양성 PMI와 비교해 어떤 종류의 언어 정보를 캡처하는가?
• RQ2 PPMI처럼 음성 PMI를 0으로 축소하는 것이 의미적 및 문법적 과제에서 유의미한 성능 손실을 초래하는가?
• RQ3 음성 PMI가 희귀어 표현에 기여할 수 있는가, 특히 어휘 유사성 과제에서?
• RQ4 음성 PMI 값의 스케일을 유지하는 것이 클리핑 또는 정규화와 비교해 모델 성능에 어떤 영향을 미치는가?
• RQ5 음성 PMI가 의미적 내용보다 얼마나 문법적 제약을 반영하는가?

주요 결과

• 양성 PMI만으로도 거의 모든 의미적 및 문법적 과제에서 전체 스펙트럼 모델과 동일하거나 더 나은 성능을 보이며, 이는 양성 PMI가 의미와 문법을 모두 포괄함을 시사한다.
• 음성 PMI는 의미 과제에서 열등한 성능(예: SimLex: 30.5–34.7 스피어만; RW: 16.6–30.5%)을 보이나, 품사 태깅(88.8–92.6%)과 의존성 파싱(32.4–34.7%)에서 다른 모델과 동등하거나 슈퍼어리어를 기록하여 그 문법적 특이성을 확인한다.
• 음성 PMI를 0으로 클리핑하는 PPMI 모델은 음성 PMI 스케일을 유지하는 모델(예: CPMI_-2: 품사 태깅 92.6%, WC 31.1%)과 거의 동일한 성능을 보이며, 이는 PPMI의 광범위한 사용을 정당화한다.
• 양성 PMI 스케일을 유지하는 모델들(예: CPMI_-2, NNEGPMI)은 스케일을 무시하는 모델들(예: NPMI)보다 더 뛰어난 성능을 보이며, 이는 스케일이 의미에 비해 문법에 비해 더 중요하다는 것을 시사한다.
• 음성 PMI는 거의 전적으로 문법 일반화에 기여하며, 이는 관측되지 않은 공현에서 유도된 암묵적인 문법적 제약을 캡처한다는 것을 의미한다.
• 전체 스펙트럼 모델(예: PPMI)이 전체적으로 가장 우수한 성능을 보이지만, 이는 양성 PMI가 지배적이기 때문이며, 음성 PMI는 의미적 가치를 거의 기여하지 않지만, 관련 없는 단어들을 배제함으로써 희귀어 어휘 유사성 과제에서 도움을 줄 수 있다.