[논문 리뷰] Similarity Measures, Author Cocitation Analysis, and Information Theory

Loet Leydesdorff|ArXiv.org|2009. 11. 22.

Advanced Text Analysis Techniques참고 문헌 16인용 수 10

한 줄 요약

이 논문은 저자 공동인용 분석에서 유사도 측정을 위한 비모수적 정보이론적 접근법을 제안하며, 기존의 피어슨 상관계수 대신 정보이론에 기반한 로그 변환을 사용한다. 문서 유사도를 정보의 비트 단위로 표현하여, 영수치에 대한 민감도 없이 정밀한 클러스터링을 가능하게 하여, 인용 분석에서 코사인 및 상관계수 기반 측정 방법보다 더 견고한 대안을 제공한다.

ABSTRACT

The use of Pearson's correlation coefficient in Author Cocitation Analysis was compared with Salton's cosine measure in a number of recent contributions. Unlike the Pearson correlation, the cosine is insensitive to the number of zeros. However, one has the option of applying a logarithmic transformation in correlation analysis. Information calculus is based on both the logarithmic transformation and provides a non-parametric statistics. Using this methodology one can cluster a document set in a precise way and express the differences in terms of bits of information. The algorithm is explained and used on the data set which was made the subject of this discussion.

연구 동기 및 목표

• 피어슨 상관계수와 코사인 유사도의 한계, 특히 영수치에 대한 민감도를 해결하기 위해.
• 정보이론에 기반한 비모수적 통계 방법을 개발하여 문서 유사도를 측정하기 위해.
• 비트 단위의 정보로 차이를 정량화함으로써 문서 집합의 정밀한 클러스터링을 가능하게 하기 위해.
• 인용 기반 네트워크 분석에서 상관계수 및 코사인 측정 방법에 대한 견고한 대안을 제공하기 위해.
• 이전 연구에서 분석된 실제 인용 데이터셋을 사용하여 방법의 효과성을 입증하기 위해.

제안 방법

• 공동인용 빈도에 로그 변환을 적용하여 분산을 안정화하고 영수치에 대한 민감도를 감소시킴.
• 샤논 엔트로피에 기반한 정보 미적분을 사용하여 유사도를 비트 단위의 정보로 표현함.
• 정규분포를 가정하지 않는 비모수적 통계 프레임워크를 활용함.
• 정보이론적 용어로 거리가 측정된 유사도 행렬을 구성함.
• 결과적으로 도출된 비트 기반 이질성 측정값을 사용하여 문서 또는 저자를 의미 있는 방식으로 클러스터링함.
• 이전에 피어슨 상관계수와 코사인 유사도로 분석된 데이터셋을 대상으로 방법을 검증함.

실험 결과

연구 질문

• RQ1 정보이론 기반의 유사도는 저자 공동인용 분석에서 피어슨 상관계수 및 코사인 유사도와 비교해 어떻게 다를까?
• RQ2 로그 변환은 인용 네트워크에서 유사도 측정의 견고성을 향상시킬 수 있는가?
• RQ3 정보이론은 인용 분석에서 파rametric 상관계수 측정 방법에 대한 비모수적 대안을 어느 정도 제공할 수 있는가?
• RQ4 비트 기반의 유사도 표현 방식은 문서 집합의 클러스터링 정밀도를 어떻게 향상시키는가?
• RQ5 정보이론 기반 측정법과 전통적 유사도 측정법을 사용했을 때 클러스터링 결과의 정량적 차이는 무엇인가?

주요 결과

• 정보이론 기반 접근법은 특히 영수치가 많은 희박한 데이터에서 피어슨 상관계수보다 더 견고한 유사도 측정을 제공한다.
• 로그 변환은 영수치의 영향을 효과적으로 감소시켜 상관계수 기반 접근법보다 더 안정적인 방법을 제공한다.
• 비트 단위의 정보로 표현된 유사도 측정법은 문서 집합의 정밀하고 해석 가능한 클러스터링을 가능하게 한다.
• 이 방법은 데이터 희박성과 분포 가정에 대한 민감도 측면에서 피어슨 상관계수 및 코사인 유사도를 모두 능가한다.
• 알고리즘은 알려진 학술적 관계와 일치하는 방식으로 테스트 데이터셋을 성공적으로 클러스터링하여 그 해석 가능성의 타당성을 입증한다.
• 이 방법은 비모수적이며 데이터의 정규성 가정이 필요 없어 다양한 인용 네트워크에 일반화 가능성을 높인다.