[논문 리뷰] Topic Modeling with Contextualized Word Representation Clusters

Laure Thompson, David Mimno|arXiv (Cornell University)|2020. 10. 23.

Topic Modeling참고 문헌 45인용 수 13

한 줄 요약

이 논문은 BERT와 GPT-2와 같은 모델의 토큰 수준 임베딩을 군집화하여 문맥에 맞는 단어 표현에서 주제 모델을 추출하는 단순한 방법을 제안한다. 이 군집화 방식이 LDA에 비해 동등하거나 더 나은 주제 모델을 생성하며, 다의어성을 잘 포착하고 추가 계산 비용이 거의 들지 않아 문서 기반 해석 가능한 분석이 가능하다는 것을 보여준다.

ABSTRACT

Clustering token-level contextualized word representations produces output that shares many similarities with topic models for English text collections. Unlike clusterings of vocabulary-level word embeddings, the resulting models more naturally capture polysemy and can be used as a way of organizing documents. We evaluate token clusterings trained from several different output layers of popular contextualized language models. We find that BERT and GPT-2 produce high quality clusterings, but RoBERTa does not. These cluster models are simple, reliable, and can perform as well as, if not better than, LDA topic models, maintaining high topic quality even when the number of topics is large relative to the size of the local collection.

연구 동기 및 목표

• 문맥에 맞는 단어 표현의 토큰 수준 군집화가 기존 LDA와 동일한 주제 모델을 생성할 수 있는지 탐구하기.
• BERT, GPT-2, RoBERTa와 같은 다양한 문맥에 맞는 언어 모델이 의미 있는 주제 군집을 생성하는 데 얼마나 잘 기능하는지 평가하기.
• 이러한 군집화가 문서 맥락에 기반하며, 주제 추적 및 요소 탐지와 같은 실용적인 코퍼스 분석 작업을 지원하는지 보여주기.
• 이 방법이 추가 학습이나 복잡한 모델링이 필요 없어, BERT 스타일 모델을 이미 사용 중인 연구자들에게 접근하기 쉬운지 보여주기.
• BERT와 유사한 아키텍처를 가졌음에도 불구하고 RoBERTa의 출력에 잠재된 한계를 규명하여 표현 학습 방식에 깊은 차이가 있음을 시사하기.

제안 방법

• BERT, GPT-2, RoBERTa의 최종 레이어에서 추출한 토큰 수준의 문맥에 맞는 단어 임베딩에 k-means 군집화를 적용하기.
• 결과로 얻은 군집 할당을 주제 레이블로 사용하며, 각 군집이 별개의 의미 주제 또는 주제를 나타내도록 하기.
• 주제 품질을 평가하기 위해 해석 가능성, 다의어성 포착 능력, 주제의 시계열 변화나 문서 카테고리 간 분포와 같은 후행 분석 작업을 활용하기.
• 사전 정의된 문서 파artition(예: 제품 카테고리, 연도) 내에서 군집 내 토큰 할당 수를 세어 주제의 두드러짐 정도를 추정하기.
• 엔트로피 기반 지표를 사용해 특정 카테고리에 강하게 연관되지 않은 주제를 식별하여, 미묘하거나 주관적인 주제를 파악하기.
• 영어 텍스트 컬렉션에서 표준 LDA와 비교해 정성적 및 정량적 측정 기준을 활용해 군집 기반 주제 모델의 성능 평가하기.

실험 결과

연구 질문

• RQ1 문맥에 맞는 단어 표현의 토큰 수준 군집화가 LDA와 기능적·정성적으로 유사한 주제 모델을 생성할 수 있는가?
• RQ2 BERT, GPT-2, RoBERTa와 같은 다양한 문맥에 맞는 언어 모델이 해석 가능하고 의미적으로 일관된 주제 군집을 얼마나 잘 생성하는가?
• RQ3 이러한 군집화가 'land'와 같이 동사나 명사로 다양한 의미를 가진 단어의 다의어성과 맥락적 변화를 얼마나 잘 포착할 수 있는가?
• RQ4 이러한 주제 모델이 주제 추세의 시간적 추적이나 제품 리뷰에서의 요소 탐지와 같은 실용적인 코퍼스 분석 작업에 효과적으로 활용될 수 있는가?
• RQ5 BERT와 유사한 아키텍처와 사전학습 목표를 가졌음에도 불구하고 RoBERTa가 BERT와 GPT-2에 비해 더 낮은 품질의 군집을 생성하는 이유는 무엇인가?

주요 결과

• BERT와 GPT-2는 'land'와 같은 단어의 동사 또는 명사로의 다양한 의미를 포함한 다의어성과 문법적 변형을 잘 포착하는 고품질의 주제 군집을 생성한다.
• BERT와 유사한 아키텍처를 가졌음에도 불구하고 RoBERTa의 군집 품질은 유의미하게 떨어지며, 종종 매우 작거나 특정적이거나 해석이 어려운 주제로 이어진다.
• 군집 기반 주제 모델은 주제 수가 많을 경우에도(예: K=500) 높은 주제 품질을 유지하며, 해석 가능성과 일관성 면에서 LDA를 뛰어나거나 동등하게 성능을 발휘한다.
• 문맥에 맞는 임베딩의 토큰 수준 군집화는 제품 카테고리 간 주제 빈도 추정이나 연도별 주제 추적과 같은 실용적 분석 작업을 가능하게 한다.
• 카테고리 간 엔트로피가 낮은 주제들—예를 들어 'overkill', 'possibilities', 'time periods'—은 표준 정지어 필터링으로는 포착되지 않는 미묘하거나 주관적이거나 논의 수준의 주제를 나타낸다.
• 이 방법은 추가 학습이나 복잡한 추론이 필요 없으며, 기존의 BERT 스타일 워크플로우를 활용하므로, 이미 문맥에 맞는 모델을 사용 중인 연구자들에게 LDA의 즉각적인 대체 수단이 될 수 있다.