[논문 리뷰] Topic words analysis based on LDA model

Xi Qiu, Christopher Stewart|arXiv (Cornell University)|2014. 05. 15.

Complex Network Analysis Techniques참고 문헌 4인용 수 4

한 줄 요약

이 논문은 오바마닷컴에서 오하이오주 콘월러스에 거주하는 수신자에게 보낸 이메일 내용을 분석하기 위해 게이블스 샘플링을 사용한 잠재(dirichlet) 분포 할당(LDA) 모델을 활용한 토픽 모델링 접근법을 제안한다. 탄소 배출이 없는 Datagreening.com 서버를 활용하고 BashReduce를 통한 병렬 처리를 통해, 이 방법은 약 30%의 속도 향상을 달성했으며, 주제어 목록 크기를 적절히 선택할 경우 LDA는 TF-IDF 대비 목표 정치 주제어어를 식별하는 데 53.96% 높은 정밀도를 보여준다.

ABSTRACT

Social network analysis (SNA), which is a research field describing and modeling the social connection of a certain group of people, is popular among network services. Our topic words analysis project is a SNA method to visualize the topic words among emails from Obama.com to accounts registered in Columbus, Ohio. Based on Latent Dirichlet Allocation (LDA) model, a popular topic model of SNA, our project characterizes the preference of senders for target group of receptors. Gibbs sampling is used to estimate topic and word distribution. Our training and testing data are emails from the carbon-free server Datagreening.com. We use parallel computing tool BashReduce for word processing and generate related words under each latent topic to discovers typical information of political news sending specially to local Columbus receptors. Running on two instances using paralleling tool BashReduce, our project contributes almost 30% speedup processing the raw contents, comparing with processing contents on one instance locally. Also, the experimental result shows that the LDA model applied in our project provides precision rate 53.96% higher than TF-IDF model finding target words, on the condition that appropriate size of topic words list is selected.

연구 동기 및 목표

• 오하이오주 콘월러스에 거주하는 수신자에게 향한 오하이오닷컴의 정치 이메일 콘텐츠를 분석한다.
• LDA와 게이블스 샘플링을 통한 토픽 모델링을 활용해 발신자 선호도를 모델링한다.
• LDA의 예측 능력이 TF-IDF에 비해 관련 정치 주제어어를 식별하는 데 얼마나 효과적인지 평가한다.
• 탄소가 없는 서버에서 BashReduce를 통한 병렬 처리를 통해 단어 처리 속도를 향상시킨다.
• 소셜 네트워크 분석을 위한 이메일 코퍼스에서 대표적인 주제어어를 시각화하고 추출한다.

제안 방법

• 오하이오닷컴에서 콘월러스 거주 수신자에게 발송된 이메일 코퍼스 전반에 걸쳐 잠재 주제를 추론하기 위해 LDA 모델을 적용했다.
• EM의 계산 부담을 피하기 위해 효율적인 주제 및 단어 분포 추정을 위해 게이블스 샘플링을 사용했다.
• 파이썬을 활용해 원시 이메일 데이터를 전처리: 토큰화, 어간 추출, 불용어 필터링 및 단어 수 계산.
• BashReduce 프레임워크를 적용해 두 개의 컴퓨팅 인스턴스에 걸쳐 단어 수 계산을 분산 처리하여 약 30%의 속도 향상을 달성했다.
• 주제-단어 분포를 매핑하여 각 주제의 대표 키워드를 식별했으며, 예를 들어 '헬스 케어', '캠프aign', '지방자치 지도자' 등이 포함되었다.
• 정밀도를 평가 지표로 삼아, 주제어어 목록 일치 성능을 기반으로 LDA와 TF-IDF의 성능을 비교했다.

실험 결과

연구 질문

• RQ1 목표로 지정된 이메일 커뮤니케이션에서 LDA 모델이 관련 정치 주제어어를 식별하는 데 얼마나 효과적인가?
• RQ2 BashReduce를 활용한 병렬 처리가 대규모 이메일 코퍼스 처리에 있어 어떤 성능 향상을 제공하는가?
• RQ3 주제어어 목록 크기가 변화함에 따라 LDA의 주제어어 탐지 정밀도는 TF-IDF에 비해 어떻게 비교되는가?
• RQ4 LDA는 이메일 당 다수의 잠재 주제를 포착함으로써 정치적 홍보에서 발신자 선호도를 효과적으로 모델링할 수 있는가?
• RQ5 주제어어 목록 크기가 정치 이메일 분석에서 주제어어 식별 정밀도에 미치는 영향은 무엇인가?

주요 결과

• 주제어어 목록 크기를 15로 설정했을 경우 LDA는 TF-IDF 대비 53.96% 높은 정밀도를 기록하여 더 뛰어난 예측 능력을 입증했다.
• BashReduce를 활용한 병렬 처리로 단어 수 계산 시간이 단일 인스턴스 로컬 처리 대비 약 30% 감소했다.
• LDA는 이메일 코퍼스에서 네 가지 주요 주제를 성공적으로 식별했다: 헬스 케어, 신규 기여, 지역 뉴스, 대통령 정보.
• LDA와 TF-IDF 양 모델의 정밀도는 목표어어 목록 크기가 클수록 증가했지만, 주제어어 목록 크기가 충분히 클 경우 LDA가 항상 TF-IDF를 앞섰다.
• 실험 결과에 따르면 LDA는 정치 이메일 콘텐츠에서 의미 있고 맥락적으로 관련된 주제어어를 더 효과적으로 포착할 수 있음을 확인했다.
• 본 연구는 LDA와 게이블스 샘플링을 조합한 방법이 정치 커뮤니케이션의 소셜 네트워크 분석에 있어 확장 가능하고 효율적인 토픽 모델링을 가능하게 한다는 점을 입증했다.