[논문 리뷰] Improving Pointwise Mutual Information (PMI) by Incorporating Significant Co-occurrence

Om Damani|arXiv (Cornell University)|2013. 07. 02.

Web Data Mining and Analysis참고 문헌 14인용 수 12

한 줄 요약

이 논문은 문맥 수준의 유의미한 동시출현을 문서 수준의 빈도 수치를 사용하여 통합함으로써 기존 Pointwise Mutual Information (PMI)를 개선한 새로운 단어 연관 측정법 cPMId를 제안한다. 이 방법은 전통적인 동시출현 측정법을 능가하며 자원 집약적인 분포적 및 지식 기반 방법과도 맞먹는 성능을 보이며, 주로 문맥 수준의 유의미성과 문서 빈도 수치 덕분에 성능 향상이 이루어지며, 문서 수준의 유의미성은 기여하지 않는다.

ABSTRACT

We design a new co-occurrence based word association measure by incorporating the concept of significant cooccurrence in the popular word association measure Pointwise Mutual Information (PMI). By extensive experiments with a large number of publicly available datasets we show that the newly introduced measure performs better than other co-occurrence based measures and despite being resource-light, compares well with the best known resource-heavy distributional similarity and knowledge based word association measures. We investigate the source of this performance improvement and find that of the two types of significant co-occurrence - corpus-level and document-level, the concept of corpus level significance combined with the use of document counts in place of word counts is responsible for all the performance gains observed. The concept of document level significance is not helpful for PMI adaptation.

연구 동기 및 목표

• 기존 PMI를 개선하기 위해 특히 문맥 수준의 유의미한 동시출현 개념을 통합하는 것.
• 문서 수준의 유의미한 동시출현이 PMI 수정에 의미 있는 기여를 하는지 조사하는 것.
• 자원 집약적인 단어 연관 측정법에 대한 경량이면서 높은 성능을 보이는 대안을 개발하는 것.
• 단어 빈도 수치 대신 문서 빈도 수치를 사용하는 것이 의미 개념과 독립적으로 성능 향상에 기여하는지 확인하는 것.
• 새로운 측정법이 다양한 데이터셋과 파rameter 설정에서 얼마나 견고한지 평가하는 것.

제안 방법

• 문서 기반 빈도 수치에 문맥 수준의 유의미성을 적용한 수정된 PMI인 cPMId를 도입한다.
• PMI 내의 단어 수준 빈도를 문서 수준 빈도 수치(d(x), d(y), d(x,y))로 대체하여 희소성 편향을 줄인다.
• 카이제곱 검정 기반의 통계적 유의미성 항목을 도입하여 기대 동시출현과의 편차를 제한한다.
• 조정 가능한 파rameter δ를 사용하여 유의미성 임계값을 제어하고, 동시출현 빈도의 기대 편차를 조절한다.
• cPMId를 다음과 같이 유도한다: log[ d(x,y) / (d(x)*d(y)/D + √d(x)*√(ln δ / (-2))) ], 여기서 δ ∈ (0,1).
• 여러 데이터셋과 평가 지표를 사용하여 cPMId를 PMI, PMId, PMIz, CSR, PMI², nPMI, Dice, Jaccard와 비교한다.

실험 결과

연구 질문

• RQ1 PMI에 문맥 수준의 유의미한 동시출현을 통합하면 단어 연관 성능이 향상되는가?
• RQ2 PMI 수정 시 문서 수준의 유의미한 동시출현은 유용한가, 아니면 추가적인 기여가 없는가?
• RQ3 문서 빈도 수치 기반의 PMI 변형이 표준 단어 빈도 기반 PMI 및 기타 동시출현 측정법을 능가할 수 있는가?
• RQ4 새로운 측정법의 성능이 조정 가능한 파rameter들(예: δ 및 스파니 스파니스)에 얼마나 민감한가?
• RQ5 새로운 측정법 cPMId는 자원 집약적인 분포적 유사도 및 지식 기반 단어 연관 측정법과 동등하거나 이를 초월하는가?

주요 결과

• cPMId는 여러 자유 연관 및 의미 유사도 데이터셋에서 표준 PMI, PMId, PMIz, CSR, Dice, Jaccard, PMI², nPMI를 뛰어넘는 성능을 보였다.
• cPMId의 성능은 cPMIz와 거의 동일하여 문서 수준의 유의미성이 성능 향상에 기여하지 않는다는 것을 시사한다.
• 성능 향상의 주요 원천은 문맥 수준의 유의미성과 문서 수준의 빈도 수치 조합이며, 문서 수준의 유의미성은 아니다.
• 자원 경량임에도 불구하고 최고의 분포적 유사도 및 지식 기반 단어 연관 측정법과 비슷한 성능을 발휘한다.
• 파rameter 변화에 대해 매우 견고하여 다양한 δ 및 스팬 임계값 범위에서 안정적인 성능을 유지한다.
• 최적의 기본 파rameter 설정은 스팬 임계값과 δ에 대해 (20w, 0.7)이며, 다양한 조합에서도 높은 성능 유지