[논문 리뷰] Exploring text datasets by visualizing relevant words

Franziska Horn, Leila Arras외 3명|arXiv (Cornell University)|2017. 07. 17.

Topic Modeling참고 문헌 11인용 수 8

한 줄 요약

이 논문은 텍스트 데이터셋에서 '관련 단어'를 워드 클라우드를 사용해 시각화하여 탐색적 데이터 분석을 가속화하는 방법을 제안한다. tf-idf 집계, 계층별 관련성 전파(LRP), 그리고 새로운 단어 빈도 비율 점수의 세 가지 방법을 비교하여 각 클래스나 클러스터에서 구분되는 용어를 식별하고, 빈도 비율 방법이 과학적 논문에서 주목할 만한 주제와 뉴욕타임스 스크립트에서의 유행 주제를 가장 잘 드러내는 것으로 입증한다.

ABSTRACT

When working with a new dataset, it is important to first explore and familiarize oneself with it, before applying any advanced machine learning algorithms. However, to the best of our knowledge, no tools exist that quickly and reliably give insight into the contents of a selection of documents with respect to what distinguishes them from other documents belonging to different categories. In this paper we propose to extract `relevant words' from a collection of texts, which summarize the contents of documents belonging to a certain class (or discovered cluster in the case of unlabeled datasets), and visualize them in word clouds to allow for a survey of salient features at a glance. We compare three methods for extracting relevant words and demonstrate the usefulness of the resulting word clouds by providing an overview of the classes contained in a dataset of scientific publications as well as by discovering trending topics from recent New York Times article snippets.

연구 동기 및 목표

• 텍스트 데이터셋 내에서 서로 다른 클래스나 클러스터에 속한 문서를 어떻게 구분지을 수 있는지 빠르게 드러내는 도구의 부족을 해결하기 위해.
• 복잡한 기계학습 모델을 적용하기 전에 데이터셋 내용을 신속하고 직관적으로 이해할 수 있도록 하기 위해.
• 각 클래스나 클러스터에 대해 주목할 만한 구분되는 단어를 식별하고 시각화하여 탐색적 분석을 지원하기 위해.
• 관련 단어를 추출하는 데 다수의 방법을 평가하고, 텍스트 데이터에서 의미 있는 구분을 가장 잘 포착하는 방법을 규명하기 위해.
• 라벨이 붙은 데이터셋(예: 과학적 논문)과 라벨이 없는 데이터셋(예: 최근 뉴스 스크립트) 모두에서 유효성을 입증하여 추세 탐지에 기여하기 위해.

제안 방법

• 토큰화, 불용어 제거, tf-idf 특성 벡터로의 변환을 통해 텍스트 데이터를 전처리한다.
• 세 가지 방법을 사용해 관련 단어를 추출한다: (1) 각 클래스별 tf-idf 점수의 합계 계산, (2) 분류기 점수를 입력 특성에 할당하기 위해 계층별 관련성 전파(LRP) 사용, (3) 대상 클래스 대비 다른 클래스들에 비해 상대 빈도가 높은 단어에 대한 관련성 점수 계산.
• 각 방법에서 상위 순위의 관련 단어를 사용해 각 클래스나 클러스터용 워드 클라우드를 생성한다.
• 라벨이 없는 데이터의 경우, 코사인 유사도 임계값 0.55와 최소 클러스터 크기 3을 사용해 DBSCAN을 통해 문서를 클러스터링한다.
• 분류 결정을 해석하고 학습 데이터의 편향을 탐지하기 위해 개별 문서에서 관련 단어를 강조한다.
• 실험을 재현하고 결과를 시각화하기 위해 오픈소스 파이썬 라이브러리 'textcatvis'를 사용한다.

실험 결과

연구 질문

• RQ1 어느 방법이 특정 클래스의 문서를 다른 클래스의 문서와 구분하는 데 가장 신뢰성 있게 단어를 식별하는가?
• RQ2 관련 단어 기반 워드 클라우드는 전체 모델 훈련 없이도 데이터셋 내용을 직관적이고 고수준으로 개괄할 수 있는가?
• RQ3 다양한 단어 관련성 추출 기법은 라벨이 없는 뉴스 텍스트 데이터에서 유행 주제를 식별하는 데 얼마나 효과적인가?
• RQ4 관련 단어를 시각화하면 학습 데이터의 편향이나 잘못 분류된 사례를 탐지하는 데 도움이 될 수 있는가?
• RQ5 클래스 크기가 불균형하거나 클러스터가 작은 데이터셋에서 각 방법의 성능은 어떻게 달라지는가?

주요 결과

• 목표 클래스 내에서의 상대적 발생 빈도에 기반해 관련성 점수를 계산하는 빈도 비율 방법이, 라벨이 붙은 데이터셋과 라벨이 없는 데이터셋 모두에서 탐색적 분석에 있어 tf-idf 집계와 LRP를 능가한다.
• 빈도 비율 방법을 사용해 생성한 워드 클라우드는 2017년 1월 뉴욕타임스 기사 스크립트에서 '취임', '트럼프', '시위'와 같은 주목할 만한 주제를 명확히 드러냈다.
• 이 방법은 Betsy DeVos의 임명이나 이탈리아의 landslides와 같은 실제 사건과 대응하는 클러스터를 성공적으로 식별했으며, 단 세 개의 문서로 이루어진 클러스터에서도 가능했다.
• LRP는 특히 훈련된 모델에서 잘못된 분류에 기여하는 특징을 식별하는 데 있어 개별 분류 결정을 해석하는 데 가장 효과적이었다.
• tf-idf 집계는 특히 여러 클래스에서 공통적으로 사용되는 단어들이 있을 경우, 클래스 특화된 용어를 구분하는 데 자주 실패했다.
• 이 접근법은 인간이 읽을 수 있는 빠른 데이터셋 구조 이해를 가능하게 했으며, 워드 클라우드가 개별 문서를 수작업으로 점검하는 것에 비해 확장 가능한 대안을 제공했다.