[논문 리뷰] Co-word Maps and Topic Modeling: A Comparison Using Small and Medium-Sized Corpora (n < 1000)

Loet Leydesdorff, Adina Nerghes|arXiv (Cornell University)|2015. 11. 10.

Topic Modeling참고 문헌 37인용 수 7

한 줄 요약

이 논문은 소규모에서 중간 규모의 문헌집합(n < 1000)에서 공어휘 맵핑(co-word mapping)과 토픽 모델링을 비교하며, 두 방법이 유의미하게 상관되지 않은 결과를 산출함을 발견한다. 공어휘 맵핑은 명확한 의미적 구성요소 식별을 가능하게 하지만, 토픽 모델링은 언어적 패턴 등 의미적 요소가 아닌 유사성을 드러낸다. 이는 소규모 자료집에서는 토픽 모델링이 공어휘 맵핑을 대체할 수는 없지만, 대규모 의미 맵핑에는 더 효과적일 수 있음을 시사한다.

ABSTRACT

Induced by big data, has become an attractive alternative to mapping co-words in terms of co-occurrences and co-absences using network techniques. Does topic modeling provide an alternative for co-word mapping in research practices using moderately sized document collections? We return to the word/document matrix using first a single text with a strong argument (The Leiden Manifesto) and then upscale to a sample of moderate size (n = 687) to study the pros and cons of the two approaches in terms of the resulting possibilities for making semantic maps that can serve an argument. The results from co-word mapping (using two different routines) versus topic modeling are significantly uncorrelated. Whereas components in the co-word maps can easily be designated, the topic models provide sets of words that are very differently organized. In these samples, the topic models seem to reveal similarities other than semantic ones (e.g., linguistic ones). In other words, topic modeling does not replace co-word mapping in small and medium-sized sets; but the paper leaves open the possibility that topic modeling would work well for the semantic mapping of large sets.

연구 동기 및 목표

• 소규모 및 중간 규모의 문서 집합에서 토픽 모델링이 공어휘 맵핑의 타당한 대안이 될 수 있는지 평가하는 것.
• 중간 규모의 문헌집합(n = 687)에서 토픽 모델링과 공어휘 네트워크의 의미적 일관성과 해석 가능성 평가.
• 소규모에서 중간 규모의 텍스트 집합에서 토픽 모델링이 의미적 관계 또는 기타 잠재적 패턴(예: 언어적 패턴)을 드러내는지 조사하는 것.
• 토픽 모델링이 의미 맵핑을 위해 공어휘 맵핑을 능가할 수 있는 조건을 규명하는 것.

제안 방법

• 기본값을 설정하기 위해 단일 강력한 논증적 텍스트(Leiden Manifesto)에서 단어/문서 행렬을 구축.
• 687개 문서의 샘플로 확장하여 공출현 및 공존하지 않음 기반의 두 가지 다른 루틴을 사용해 공어휘 맵핑을 분석.
• 동일한 코퍼스에 대해 토픽 모델링 기법을 적용해 문서 간 토픽 분포를 생성.
• 공어휘 맵핑과 토픽 모델링에서 유도된 의미 맵을 상관 분석을 통해 비교.
• 공어휘 맵의 구성요소와 토픽 모델의 토픽이 의미적으로 명확하게 레이블링 가능한지 평가함으로써 해석 가능성 평가.
• qualitative inspection을 통해 토픽 모델 출력물 내 잠재적 비의미적 원인(예: 언어적 특징) 탐색.

실험 결과

연구 질문

• RQ1 소규모 및 중간 규모의 문헌집합(n < 1000)에서 토픽 모델링이 공어휘 맵핑을 효과적으로 복제하거나 대체할 수 있는가?
• RQ2 공어휘 맵핑이 식별한 의미적 구성요소와 토픽 모델링이 생성한 토픽 간의 해석 가능성과 일관성 측면에서 비교해보면 어떠한가?
• RQ3 토픽 모델링 내의 단어 클러스터는 주로 의미적 유사성에 의해 이끌리는가, 아니면 언어적 패턴과 같은 다른 요인들에 의해 주로 영향을 받는가?
• RQ4 중간 규모의 문서 집합에서 공어휘 맵핑과 토픽 모델링 결과 간 상관관계는 어느 정도인가?
• RQ5 어떤 조건에서 토픽 모델링이 의미 맵핑을 위해 공어휘 맵핑보다 더 적합할 수 있는가?

주요 결과

• 공어휘 맵핑과 토픽 모델링의 결과는 유의미하게 상관되지 않아, 두 방법이 주로 다른 의미적 구조를 생성함을 시사한다.
• 공어휘 맵핑은 명확하고 해석 가능한 의미적 구성요소 식별이 가능하지만, 토픽 모델링은 언어적 패턴과 같은 비의미적 요소에 의해 정렬된 단어 집합을 생성한다.
• 토픽 모델링은 주로 의미적 유사성보다는 다른 요소에 의해 영향을 받는 유사성을 드러내어, 소규모에서 중간 규모의 자료집에서 잠재적 혼동 요인을 시사한다.
• 연구에서는 소규모 및 중간 규모의 자료집에서 토픽 모델링이 의미적 관계를 신뢰성 있게 포착한다는 강력한 증거를 발견하지 못했다.
• 소규모 자료집에서는 한계가 있음에도 불구하고, 본 논문은 매우 큰 데이터셋에서는 토픽 모델링이 의미 맵핑에 더 잘 작동할 수 있다는 가능성을 열어두고 있다.