[논문 리뷰] Entropic selection of concepts unveils hidden topics in documents corpora

Andrea Martini, Alessio Cardillo외 1명|arXiv (Cornell University)|2017. 05. 18.

Biomedical Text Mining and Ontologies인용 수 4

한 줄 요약

이 논문은 엔트로피 기반 선택을 통해 문서 집합에서 일반적이고 공통적인 개념을 식별하고 제거하는 정보 이론적 방법을 제안한다. 이는 잔류 엔트로피를 측정하고 높은 엔트로피 편차를 보이는 개념을 걸러내어, 부자연스러운 문서 유사도를 감소시키고 대규모 과학적 문서 집합에서 주제 탐지 능력을 향상시킨다.

ABSTRACT

The organization and evolution of science has recently become itself an object of scientific quantitative investigation, thanks to the wealth of information that can be extracted from scientific documents, such as citations between papers and co-authorship between researchers. However, only few studies have focused on the concepts that characterize full documents and that can be extracted and analyzed, revealing the deeper organization of scientific knowledge. Unfortunately, several concepts can be so common across documents that they hinder the emergence of the underlying topical structure of the document corpus, because they give rise to a large amount of spurious and trivial relations among documents. To identify and remove common concepts, we introduce a method to gauge their relevance according to an objective information-theoretic measure related to the statistics of their occurrence across the document corpus. After progressively removing concepts that, according to this metric, can be considered as generic, we find that the topic organization displays a correspondingly more refined structure.

연구 동기 및 목표

• 문서 집합의 진정한 주제 구조를 가리키는 일반적이고 공통적인 개념 문제를 해결하기 위해.
• 수동적 코딩 없이도 비정보성 개념을 객관적이고 정보 이론 기반 기준으로 식별하고 제거하기 위해.
• 무의미한 밀집 연결을 유도하는 개념을 걸러내어 주제 모델링과 문서 유사도 네트워크의 성능을 향상시키기 위해.
• 대규모 과학 문서 컬렉션에서 의미 있는 주제를 자동으로 스케일러블하게 탐지할 수 있도록 하기 위해.
• 정성적 정제가 필요한 정지어나 일반 개념의 수동 코딩에 대한 강력한 대안을 제공하기 위해.

제안 방법

• 이 방법은 일반화된 제타 분포를 사용하여 개념의 어휘 빈도(TF) 분포의 최대 엔트로피를 계산하며, 이는 n과 λ로 매개변수화된다.
• 잔류 엔트로피 S_d는 경험적 TF 분포와 이론적 최대 엔트로피 분포 사이의 쿨백-라이블러 발산으로 계산된다.
• 재스케일링된 어휘 빈도(rtf)에 대해, 방법은 분포를 로그노멀 분포로 모델링하고 이론적 모델에서의 편차를 정량화하기 위해 이산 쿨백-라이블러 발산을 계산한다.
• 개념들은 잔류 엔트로피 S_d로 순위를 매기며, 높은 S_d(최대 엔트로피에서의 높은 편차)를 보이는 개념은 일반적이라고 간주하고 걸러낸다.
• 백분위수 기반 필터링 전략을 적용하여 잔류 엔트로피 기반으로 개념을 선택하며, 점차 엄격한 임계값을 설정한다.
• 필터링된 개념 집합을 사용하여 문서 간의 유사도 네트워크를 재구성함으로써 주제 구조의 명확성이 향상된다.

실험 결과

연구 질문

• RQ1 어떻게 하면 문서 집합에서 주제 구조를 가리키는 일반적이고 공통적인 개념을 객관적으로 식별할 수 있는가?
• RQ2 이러한 개념을 제거하면 과학적 문서 컬렉션에서 잠재된 주제의 탐지 가능성은 어느 정도 향상되는가?
• RQ3 엔트로피 편차의 정보 이론적 측정이 정지어의 수동 코딩을 효과적으로 대체할 수 있는가?
• RQ4 어휘 빈도 분포의 잔류 엔트로피는 개념의 정보성과 어떻게 관련되는가?
• RQ5 고엔트로피 개념을 필터링하면 문서 유사도 네트워크의 희박성과 해석 가능성에 어떤 영향을 미치는가?

주요 결과

• 이 방법은 최대 엔트로피에서의 통계적 편차를 기반으로 일반 개념을 성공적으로 식별하고 제거하여, 부자연스러운 문서 연결을 감소시킨다.
• 필터링 후 생성된 문서 유사도 네트워크는 훨씬 더 희박하고 더 의미 있는 구조를 보이며, 더 명확한 주제 조직을 드러낸다.
• 잔류 엔트로피 S_d는 개념의 정보성 순위를 매기는 강력하고 객관적인 지표로 기능하며, 단순 빈도 임계값을 초월한다.
• 이 방법은 전문가의 정제에 의존하지 않아 대규모 문서 집합에서 자동으로 스케일러블한 주제 구조 탐지가 가능하다.
• TF 및 rtf 분포에 일반화된 제타 분포와 로그노멀 분포를 사용함으로써 어휘 빈도 통계를 정확하게 모델링할 수 있다.
• 잔류 엔트로피 기반의 백분위수 기반 필터링은 노이즈 제거의 다양한 수준에서 주제 구조 정교화를 체계적으로 탐색할 수 있게 한다.