[논문 리뷰] Content-driven, unsupervised clustering of news articles through multiscale graph partitioning

M. Tarık Altuncu, Sophia N. Yaliraki외 1명|arXiv (Cornell University)|2018. 08. 03.

Complex Network Analysis Techniques인용 수 9

한 줄 요약

이 논문은 Doc2vec 임베딩과 마르코프 안정성에 기반한 다중 척도 그래프 분할을 사용하여 뉴스 기사에 대한 비지도, 콘텐츠 기반 군집화 프레임워크를 제안한다. 이는 다양한 해상도에서 계층적인 주제 군집을 드러내며, LDA나 기준 방법보다 더 높은 주제 일관성과 상업적 분류 서비스와의 더 나은 일치도를 달성한다. 이는 2016년의 9,021개 기사로 구성된 Vox 미디어 코퍼스를 통해 검증되었다.

ABSTRACT

The explosion in the amount of news and journalistic content being generated across the globe, coupled with extended and instantaneous access to information through online media, makes it difficult and time-consuming to monitor news developments and opinion formation in real time. There is an increasing need for tools that can pre-process, analyse and classify raw text to extract interpretable content; specifically, identifying topics and content-driven groupings of articles. We present here such a methodology that brings together powerful vector embeddings from Natural Language Processing with tools from Graph Theory that exploit diffusive dynamics on graphs to reveal natural partitions across scales. Our framework uses a recent deep neural network text analysis methodology (Doc2vec) to represent text in vector form and then applies a multi-scale community detection method (Markov Stability) to partition a similarity graph of document vectors. The method allows us to obtain clusters of documents with similar content, at different levels of resolution, in an unsupervised manner. We showcase our approach with the analysis of a corpus of 9,000 news articles published by Vox Media over one year. Our results show consistent groupings of documents according to content without a priori assumptions about the number or type of clusters to be found. The multilevel clustering reveals a quasi-hierarchy of topics and subtopics with increased intelligibility and improved topic coherence as compared to external taxonomy services and standard topic detection methods.

연구 동기 및 목표

• 사전에 정의된 카테고리나 레이블 없이 뉴스 기사에 대한 비지도, 콘텐츠 기반 군집화 문제를 해결하기 위해.
• 딥 텍스트 임베딩과 그래프 이론 기반의 다중 척도 분석을 활용하여 주제 일관성과 해석 가능성 향상을 위해.
• 문서 벡터 내의 의미적 유사성에서 직접적으로 계층적인 주제 구조(하위 주제 및 보다 광범위한 주제)를 탐지할 수 있도록 하기 위해.
• 주제 일관성과 군집 유사도 측면에서 상업적 분류 서비스(Google Cloud, Open Calais)와 표준 주제 모델링(LDA)에 대해 성능을 평가하기 위해.
• 시계열 기반 군집 프로파일을 통해 시간에 따라 국한된 이벤트(예: 미국 선거 주기)를 탐지할 수 있는 능력을 입증하기 위해.

제안 방법

• 텍스트 전처리는 토큰화, 불용어 제거, NLTK를 통한 어간 추출, 빈도 기반 해싱 기법을 사용한 반복적이고 정보가 없는 래퍼 문장 제거를 포함한다.
• 문서 벡터는 전체 문서의 의미적 및 문법적 특징을 캡처하는 데 성공하는 딥 네ural 네트워크 모델인 Doc2vec를 사용하여 생성된다.
• 노드는 문서 벡터를 나타내고, 간선은 벡터 간余弦 유사도를 나타내는 유사도 그래프가 구성된다.
• 마르코프 안정성 프레임워크를 활용한 다중 척도 커뮤니티 탐지가 적용되며, 이는 그래프 상에서의 랜덤 워크 다이내믹스를 분석하여 다양한 해상도 파rameter에서 안정적인 분할을 식별한다.
• 해상도 파ram터를 변화시킴으로써 세분화된 하위 주제에서부터 광범위한 주제에 이르기까지 군집의 계층을 생성함으로써 다수 수준의 주제 탐색이 가능하다.
• 군집 품질은 상업용 API와의 비교를 위해 정규화된 상호정보량(NMI)을 사용하고, LDA 및 기준 방법과의 비교를 위해 PMI 기반 주제 일관성 점수를 사용한다.

실험 결과

연구 질문

• RQ1 사전 레이블링이나 분류 체계 없이 비지도, 콘텐츠 기반 군집화 방법이 뉴스 기사에서 일관성 있고 계층적인 주제 군집을 드러낼 수 있는가?
• RQ2 제안된 방법은 Google Cloud나 Open Calais와 같은 상업적 분류 서비스와 비교해 주제 일관성과 일치도 측면에서 어떻게 성과를 내는가?
• RQ3 시계열 기반 군집 프로파일을 통해 시간에 국한된 사건(예: 미국 선거 단계)을 탐지할 수 있는가?
• RQ4 Doc2vec 임베딩과 마르코프 안정성의 통합은 전통적인 LDA나 Bag-of-Words 접근법보다 더 해석 가능하고 안정적인 주제 군집을 생성하는가?
• RQ5 검출된 군집이 실제 뉴스 기사의 주제와 이벤트 주기(예: 예비 선거, 대규모 회의, 정치적 논란)를 어느 정도 반영하는가?

주요 결과

• 제안된 방법은 15개 군집 분할에서 PMI 기반 주제 일관성 점수 0.257을 기록하여 LDA(0.144), Open Calais(0.157), Google Cloud(0.204)를 모두 초월했다.
• 정규화된 상호정보량(NMI) 점수는 다중 척도(MS) 군집이 양 상업 서비스와 가장 유사하다는 것을 보여주었으며, 15개 군집 케이스에서 Google Cloud와의 NMI는 0.351, Open Calais와의 NMI는 0.303이었다.
• 28개 군집 분할은 2016년 미국 선거 주기와 직접적으로 관련된 9개 커뮤니티를 드러내었으며, 각 커뮤니티는 예비 선거, 대규모 회의, 논란 등 주요 사건과 정렬된 고유한 시계열 프로파일을 보였다.
• 워드 클라우드와 샌키 다이어그램은 상업적 API의 넓은 범주보다 더 구체적인 주제 군집(예: '트럼프', '클린턴 이메일', '캠프aign/투표')을 포괄하고 있음을 보여주었다.
• 이 방법은 2개의 커뮤니티가 래퍼 아티팩트에 의해 지배된 것을 성공적으로 걸러내어 전처리 및 군집화 파이프라인의 강건성을 확인했다.
• 결과적으로, 그래프 분할을 통한 콘텐츠 기반 비지도 군집화는 표준 주제 모델링이나 상업적 분류 서비스보다 더 해석 가능하고 일관성 있는 주제 계층을 생성함을 보여주었다.