[논문 리뷰] The Normalization of Occurrence and Co-occurrence Matrices in Bibliometrics using Cosine Similarities and Ochiai Coefficients

Qiuju Zhou, Loet Leydesdorff|arXiv (Cornell University)|2015. 03. 31.

Complex Network Analysis Techniques참고 문헌 26인용 수 7

한 줄 요약

이 논문은 문헌정보학에서 공출현 행렬에 대한 정규화로 Ochiai 계수를 사용할 경우 수학적으로 올바른 결과를 도출할 수 있음을 보여주며, 이는 기본 발생 행렬에 코사인 유사도를 적용한 것과 동치이기 때문이다. 인위적 데이터와 실제 데이터(예: Ahlgren 등, 2003)를 사용하여, 공출현 정규화에 코사인 또는 피어슨 상관계수를 사용할 경우 이중 정규화로 인해 유사도 값이 과대평가됨을 입증하였으며, 발생 데이터가 확보되지 않은 경우 Ochiai 계수가 바람직한 선택임을 보여준다.

ABSTRACT

We prove that Ochiai similarity of the co-occurrence matrix is equal to cosine similarity in the underlying occurrence matrix. Neither the cosine nor the Pearson correlation should be used for the normalization of co-occurrence matrices because the similarity is then normalized twice, and therefore over-estimated; the Ochiai coefficient can be used instead. Results are shown using a small matrix (5 cases, 4 variables) for didactic reasons, and also Ahlgren et al.'s (2003) co-occurrence matrix of 24 authors in library and information sciences. The over-estimation is shown numerically and will be illustrated using multidimensional scaling and cluster dendograms. If the occurrence matrix is not available (such as in internet research or author co-citation analysis) using Ochiai for the normalization is preferable to using the cosine.

연구 동기 및 목표

• 문헌정보학적 유사도 측정에서 공출현 행렬에 대한 방법론적 혼란을 해결하기 위해.
• 공출현 행렬 정규화에 코사인 또는 피어슨 상관계수를 사용할 경우 유사도 점수가 과대평가되는 이유를 규명하기 위해.
• 공출현 행렬에 대한 정규화 방법으로 Ochiai 계수를 정당화하기 위해.
• 공출현 행렬의 Ochiai 유사도가 기본 발생 행렬에 대한 코사인 유사도와 동일하다는 것을 보여주기 위해.
• 일반적으로 사용되지만 결함이 있는 정규화 기법들에 대한 원칙적인 대안을 제공하기 위해.

제안 방법

• 이론적 유도를 통해 공출현 행렬에 대한 Ochiai 유사도가 기본 발생 행렬에 대한 코사인 유사도와 수학적으로 동치임을 입증한다.
• 작은 5×4 행렬(5개의 사례, 4개의 변수)을 사용하여 이론적 동치성과 수치적 차이를 시각화한다.
• 실제 데이터로 Ahlgren 등(2003)의 24명의 저자에 대한 정보과학 분야 공출현 행렬을 적용하여 실증적 검증을 수행한다.
• 다양한 정규화 방법의 영향을 시각적으로 비교하기 위해 다차원 척도법과 군집 계층도를 사용한다.
• 코사인 및 피어슨 상관계수 정규화와 Ochiai를 대조하여 이중 정규화로 인한 과대평가 현상을 분석한다.
• 기본 발생 행렬이 가용하거나 재구성 가능하다는 가정 하에, 수학적 일관성을 기반으로 정규화 방법을 평가한다.

실험 결과

연구 질문

• RQ1 문헌정보학적 공출현 분석에서 Ochiai 계수를 기본 발생 행렬에 적용할 경우 코사인 유사도와 동치가 되는가?
• RQ2 공출현 행렬 정규화에 코사인 또는 피어슨 상관계수를 사용할 경우 왜 유사도 점수가 과대평가되는가?
• RQ3 기본 발생 행렬이 확보되지 않은 경우 공출현 행렬에 대한 올바른 정규화 방법은 무엇인가?
• RQ4 다양한 정규화 기법은 문헌정보학 데이터의 유사도 행렬의 구조에 어떤 영향을 미치는가?
• RQ5 기본 발생 데이터가 확보되지 않은 경우 Ochiai를 코사인 유사도의 신뢰할 수 있는 대체 수단으로 사용할 수 있는가?

주요 결과

• 공출현 행렬에 적용된 Ochiai 계수는 기본 발생 행렬에 적용된 코사인 유사도와 수학적으로 동치이다.
• 공출현 정규화에 코사인 또는 피어슨 상관계수를 사용할 경우 이중 정규화로 인해 유사도 값이 과대평가된다.
• 작은 인위적 행렬과 실제 Ahlgren 등(2003) 데이터셋을 사용하여 과대평가 현상을 수치적으로 입증하였다.
• 다차원 척도법과 군집 계층도를 통해 코사인 또는 피어슨 정규화로 인한 왜곡이 명백히 확인되었다.
• 기본 발생 행렬이 확보되지 않은 경우, 예를 들어 저자 공동인용 분석이나 인터넷 기반 연구에서는 Ochiai 계수가 정규화 방법으로서 우선시되어야 한다.
• Ochiai 계수는 결함이 있는 정규화 관행을 대체할 수 있는 일관되고 이론적으로 타당한 대안을 제공한다.