[논문 리뷰] Discovering topics in text datasets by visualizing relevant words

Franziska Horn, Leila Arras외 3명|arXiv (Cornell University)|2017. 07. 18.

Advanced Text Analysis Techniques참고 문헌 14인용 수 3

한 줄 요약

이 논문은 문서 클러스터를 구분하는 데 기여하는 관련 단어를 식별하고 시각화하여 텍스트 데이터셋에서 트렌딩 주제를 탐지하는 방법을 제안한다. DBSCAN 군집화와 진정 양성 비율(TPR) 및 위양성 비율(FPR) 기반의 새로운 관련도 점수를 활용하여, 주요 주제를 드러내는 정보적인 워드 클라우드를 생성한다. 실제 뉴스 기사에서 트럼프의 취임식과 뉴욕타임스 기사의 관련 사건들을 탐지함으로써 성능을 입증하였다.

ABSTRACT

When dealing with large collections of documents, it is imperative to quickly get an overview of the texts' contents. In this paper we show how this can be achieved by using a clustering algorithm to identify topics in the dataset and then selecting and visualizing relevant words, which distinguish a group of documents from the rest of the texts, to summarize the contents of the documents belonging to each topic. We demonstrate our approach by discovering trending topics in a collection of New York Times article snippets.

연구 동기 및 목표

• 대규모 비정형 텍스트 데이터셋에 대한 빠른 탐색적 분석을 가능하게 하기 위해 주요 주제를 식별하는 것.
• 기존의 키워드 추출 방법이 문서 그룹 간 주제 특화된 차이를 포착하지 못하는 한계를 해결하는 것.
• 라벨이 없는 조건에서도 한 클러스터의 문서들이 다른 클러스터와 어떻게 구분되는지를 식별하는 강력하고 빠른 방법을 개발하는 것.
• 워드 클라우드 시각화가 실제 텍스트 컬렉션의 주제 클러스터를 요약하고 해석하는 데 유용한가를 입증하는 것.
• 다른 텍스트 데이터셋에 적용하고 재현할 수 있도록 오픈소스 도구를 제공하는 것.

제안 방법

• 소문자로 변환하고, 알파벳과 숫자 이외의 문자를 제거하며, 단어와 바이그램에 대해 tf-idf 벡터를 계산하여 텍스트를 전처리한다.
• 최소 코사인 유사도 기준 0.55와 최소 클러스터 크기 3개 문서를 설정하여 DBSCAN 군집화를 수행하여 관련 기사들을 그룹화한다.
• 각 단어에 대해 클러스터 내 진정 양성 비율(TPR)과 다른 클러스터 전반의 위양성 비율(FPR)을 기반으로 관련도 점수를 계산한다.
• TPR와 FPR 점수를 다음 공식을 사용하여 최종 관련도 점수로 조합한다: $ r_c(t_i) = 0.5(r_{c\_diff}(t_i) + r_{c\_quot}(t_i)) $, 여기서 $ r_{c\_quot} $는 불균형을 보정하기 위한 비율 몫이다.
• 각 클러스터별 상위 랭킹 단어를 선별하고 워드 클라우드에 시각화하여 각 주제를 요약한다.
• 개별 문서에서 관련 단어를 강조하여 이해와 탐색을 지원한다.

실험 결과

연구 질문

• RQ1 군집 기반 접근법과 단어 시각화가 대규모 텍스트 컬렉션에서 트렌딩 주제를 효과적으로 드러내는가?
• RQ2 라벨이 없는 조건에서 한 문서 클러스터를 다른 클러스터와 구분하는 데 기여하는 관련 단어는 어떻게 식별할 수 있는가?
• RQ3 제안된 TPR-FPR 관련도 점수가 기존의 tf-idf와 같은 전통적 방법보다 주제 정의어를 더 잘 식별하는가?
• RQ4 사전 주제 지식 없이 뉴스 스퍼트에서 의미 있는 실세계 사건(예: 정치적 취임식, 스포츠 대회)을 탐지할 수 있는가?
• RQ5 클러스터 크기와 문서 분포의 변화에 대해 이 방법은 얼마나 강건한가?

주요 결과

• 이 방법은 트럼프의 취임주를 중심 주제로 성공적으로 식별하였으며, '트럼프', '취임식', '대통령' 등의 관련 단어가 강한 군집을 보였다.
• 이 방법은 오스트레일리안 오픈과 이탈리아의 landslides 등 보조적 사건도 탐지하여 주요 사건 외의 세부 주제를 파악할 수 있음을 보여주었다.
• 상위 관련도 점수를 가진 단어로 생성된 워드 클라우드는 각 클러스터를 명확히 요약하여 문서 내용을 빠르게 시각적으로 이해할 수 있게 하였다.
• TPR와 FPR 기반 점수 사용으로 인해 '화요일'과 같은 의미 없는 단어가 시간 빈도로 인해 잘못 높이 평가되는 위험을 줄였다.
• 취임주 동안 50개 이상의 의미 있는 클러스터가 식별되었으며, 정치적 인사 임명 및 교도소 문제와 같은 다양한 주제를 포함하여 이 방법의 민감도가 검증되었다.
• 오픈소스 라이브러리 'textcatvis'는 다른 텍스트 데이터셋에 대해 이 방법을 재현하고 적용할 수 있도록 보장한다.