[논문 리뷰] A Measure of Similarity in Textual Data Using Spearman's Rank Correlation Coefficient

Nino Arsov, Milan Dukovski외 2명|arXiv (Cornell University)|2019. 11. 26.

Advanced Text Analysis Techniques참고 문헌 14인용 수 10

한 줄 요약

이 논문은 벡터 공간 모델에서 텍스트 데이터의 유사도 측정을 위해 스피어만의 순위 상관계수(SRCC)를 새로운 유사도 측정법으로 제안한다. 이는 비선형 관계를 탐지할 수 있는 능력을 지닌다. 14개의 텍스트 문서에서 수행된 실험 결과, SRCC는 어_term 겹침이 적지만 의미적 연결은 있는 경우에 코사인 유사도와 피어슨 상관계수보다 의미 유사도를 더 잘 포착하는 것으로 나타났다. 이는 지식 추출 작업에서의 강건성을 보여준다.

ABSTRACT

In the last decade, many diverse advances have occurred in the field of information extraction from data. Information extraction in its simplest form takes place in computing environments, where structured data can be extracted through a series of queries. The continuous expansion of quantities of data have therefore provided an opportunity for knowledge extraction (KE) from a textual document (TD). A typical problem of this kind is the extraction of common characteristics and knowledge from a group of TDs, with the possibility to group such similar TDs in a process known as clustering. In this paper we present a technique for such KE among a group of TDs related to the common characteristics and meaning of their content. Our technique is based on the Spearman's Rank Correlation Coefficient (SRCC), for which the conducted experiments have proven to be comprehensive measure to achieve a high-quality KE.

연구 동기 및 목표

• 어_term 겹침이 적지만 개념적 유사성이 높을 경우, 기존의 유사도 측정법이 의미 유사도를 포착하는 데에 한계를 보이는 문제를 해결하고자 한다.
• TF-IDF 벡터 표현 간의 유사도를 측정하는 데 있어 스피어만의 순위 상관계수(SRCC)의 효과성을 평가하고자 한다.
• 코사인 및 피어슨 상관계수로는 실패할 수 있는 비선형 관계를 SRCC가 탐지할 수 있음을 보여주고자 한다.
• 클러스터링 및 자연어 처리 분야의 지식 추출 작업에서 기존의 유사도 측정법에 대한 신뢰할 수 있는 비표준 대안을 제공하고자 한다.
• 다양한 주제를 다루는 텍스트 문서 세트에 대한 실증적 실험을 통해 방법의 타당성을 검증하고자 한다.

제안 방법

• 텍스트 문서는 TF-IDF 가중치 기반의 벡터 공간 모델을 사용하여 수치적 벡터로 변환된다.
• 문서 쌍 간의 유사도는 스피어만의 순위 상관계수(SRCC)를 사용하여 계산되며, 이는 각 문서 내 어휘 가중치의 순위 간 단조성 관계를 평가한다.
• SRCC는 기존의 표준 측정법인 코사인 유사도(CS)와 피어슨 상관계수(PCC)와 비교된다.
• SRCC는 각 문서 벡터 내의 TF-IDF 값들을 순위화한 후, 두 순위 벡터 간의 상관계수를 계산하여 산출된다.
• 다양한 주제(예: 외계인, 법, 뉴스, 이야기 등)를 다루는 14개의 텍스트 문서로 구성된 데이터셋을 대상으로, 다양한 의미적 맥락에서의 강건성을 테스트한다.
• SRCC, CS, PCC 간의 시각적 및 정량적 비교를 통해 의미 있는 문서 유사도 탐지 능력을 평가한다.

실험 결과

연구 질문

• RQ1 어_term 겹침이 최소화된 상황에서도 스피어만의 순위 상관계수(SRCC)가 텍스트 문서 간의 의미 유사도를 효과적으로 측정할 수 있는가?
• RQ2 SRCC는 텍스트 데이터에서 비선형 관계를 탐지하는 데 있어 코사인 유사도와 피어슨 상관계수보다 어떻게 비교되는가?
• RQ3 어_term 겹침은 적지만 개념적 유사성이 높은 경우, SRCC가 전통적인 측정법보다 더 현실적인 유사도 점수를 제공하는가?
• RQ4 비균일한 텍스트 콘텐츠를 포함한 지식 추출 및 문서 클러스터링 작업에서 SRCC를 신뢰성 있게 사용할 수 있는가?
• RQ5 SRCC는 문서 간의 미묘하거나 간접적인 의미적 연관성을 탐지하는 데 어떤 성능을 보이는가?

주요 결과

• SRCC는 주제가 다름(d₁: 리더십 vs. d₅: 가정 및 의료 휴직)으로 관련성이 낮은 문서 쌍 d₁과 d₅ 사이에 0.0018의 유사도 값을 산출하여 매우 낮은 의미적 연결성을 나타낸다.
• 반면, 코사인 유사도는 동일한 쌍에 대해 높은 값 0.36을 기록하여 '직원'이라는 단어의 어_term 겹침으로 인해 잘못된 수준의 유사성을 암시한다.
• 매우 유사한 문서 쌍 d₈와 d₉(모두 외계인 목격에 대해 다룸)의 경우, SRCC는 0.95의 유사도를 기록했으며, 이는 코사인 유사도 0.97 및 피어슨 상관계수 0.97과 매우 유사하게 일치한다.
• SRCC는 d₆와 d₁₀ 사이의 비선형 관계(유사도 0.022)를 탐지했으며, 이는 코사인 및 피어슨 유사도로는 잘 포착되지 않았다. 이는 비선형 맥락에서의 강점을 보여준다.
• 다양한 문서 쌍에서 일관된 성능을 보였으며, SRCC 값은 특히 다른 측정법이 실패하는 경우에도 의미적 직관과 잘 일치했다.
• 시각적 분석을 통해 SRCC는 어_term 겹침이 적은 경우에도 의미적으로 관련 없는 쌍과 명확히 관련된 쌍을 효과적으로 구분함을 확인했다.