[논문 리뷰] A new simple and effective measure for bag-of-word inter-document similarity measurement

Sunil Aryal, Kai Ming Ting외 2명|arXiv (Cornell University)|2019. 02. 09.

Topic Modeling참고 문헌 18인용 수 16

한 줄 요약

이 논문은 전통적인 어휘 가중치 기반 접근을 회피하기 위해 백오프-오브-워즈 벡터에서 어휘 수준의 유사도를 평가하는 확률적 접근을 사용하는 새로운 문서 간 유사도 측정 방법 Sp를 제안한다. 이는 이진 BoW 표현에서 뛰어난 성능을 보이며, 다양한 가중치 설정을 가진 코사인 유사도 및 BM25에 비해 어휘 빈도 기반 표현에서도 경쟁력 있고 일관성 있는 결과를 얻는다.

ABSTRACT

To measure the similarity of two documents in the bag-of-words (BoW) vector representation, different term weighting schemes are used to improve the performance of cosine similarity---the most widely used inter-document similarity measure in text mining. In this paper, we identify the shortcomings of the underlying assumptions of term weighting in the inter-document similarity measurement task; and provide a more fit-to-the-purpose alternative. Based on this new assumption, we introduce a new simple but effective similarity measure which does not require explicit term weighting. The proposed measure employs a more nuanced probabilistic approach than those used in term weighting to measure the similarity of two documents w.r.t each term occurring in the two documents. Our empirical comparison with the existing similarity measures using different term weighting schemes shows that the new measure produces (i) better results in the binary BoW representation; and (ii) competitive and more consistent results in the term-frequency-based BoW representation.

연구 동기 및 목표

• 기존의 어휘 가중치 가정이 문서 간 유사도 측정에서 가지는 한계를 규명하는 것.
• 명시적인 어휘 가중치에 의존하지 않는 새로운 유사도 측정 방법을 제안하여 일관성과 성능을 향상시키는 것.
• 다양한 데이터셋과 BoW 표현에서 새로운 측정 방법을 평가하고, 특히 개인정보 보호가 중요한 도메인에서의 적용 가능성을 검토하는 것.
• Sp가 어휘 가중치 조정 없이도 최신 기술 대비 우수하거나 경쟁 가능한 성능을 내는 것을 입증하는 것.

제안 방법

• 제안된 Sp 측정 방법은 공현 및 분포 패턴을 바탕으로 두 문서 간 각 어휘의 유사도를 확률적 프레임워크를 통해 계산한다.
• tf나 idf 요소에 의존하지 않고, 공통으로 관련성이 높을 가능성을 반영하는 어휘별 유사도 점수를 계산한다.
• 전체 문서 간 유사도는 정규화된 집계를 통해 척도 불변성을 확보하는 가중치 합으로 유도된다.
• tf-idf나 BM25에서 흔히 볼 수 있는 복잡한 파rameter 조정을 피하기 위해 단순하고 효과적인 방법으로 설계되었다.
• 사전 처리나 가중치 조정 없이도 원시 BoW 벡터(이진 및 어휘 빈도 표현 모두)에 직접 적용된다.
• 이 방법은 새로운 가정에 기반한다: 유사도는 빈도나 희귀성만을 반영하는 것이 아니라, 어휘의 맥락 내에서의 확률적 관련성 반영해야 한다.

실험 결과

연구 질문

• RQ1 tf-idf와 같은 기존의 어휘 가중치 기법이 쿼리-기반 예제 작업에 적용되었을 때 문서 간 유사도 측정에서 어떻게 작동하는가?
• RQ2 명시적인 어휘 가중치 없이도 성능을 유지하거나 향상시킬 수 있는 유사도 측정 방법을 설계할 수 있는가?
• RQ3 제안된 Sp 측정 방법이 이진 및 어휘 빈도 기반 BoW 표현에서 코사인 유사도 및 BM25를 모두 능가하는가?
• RQ4 기존의 가중치 기반 측정 방법들과 비교해 Sp는 다양한 데이터셋에서 더 일관된 성능을 보이는가?
• RQ5 어휘 빈도 정보가 가림당하는 개인정보 보호가 중요한 응용 분야에서 Sp가 강력한 대안이 될 수 있는가?

주요 결과

• Sp는 이진 BoW 표현에서 코사인 유사도 및 어떤 어휘 가중치 설정을 사용한 BM25보다 유의미하게 뛰어난 성능을 보였다.
• 어휘 빈도 기반 BoW 표현에서 Sp는 다양한 데이터셋에서 기존 측정 방법들과 비교해 경쟁력 있고 더 일관된 결과를 산출하였다.
• Sp의 성능은 어휘 가중치 파rameter 조정에 의존하지 않아도 안정적이며, 코사인 또는 BM25와는 달리 일관성 있는 성능을 유지한다.
• tf-idf와 결합된 가중치가 있는 재결합 유사도보다 Sp가 더 뛰어난 성능을 보여, Sp가 어휘 수준의 관련성 모델링에서 열등하지 않음을 시사한다.
• 어휘 빈도 정보가 제공되지 않을 경우에도 Sp는 강력한 성능을 유지하므로, 개인정보 보호를 위한 응용 분야에 적합하다.
• 실증적 평가를 통해 Sp가 다양한 텍스트 마이닝 작업, 특히 쿼리-기반 예제 시나리오에서 강건함을 입증하였다.