[논문 리뷰] A Bayesian approach to modeling topic-metadata relationships

Patrick Schulze, Simon Wiegrebe외 3명|arXiv (Cornell University)|2021. 04. 06.

Computational and Text Analysis Methods참고 문헌 17인용 수 4

한 줄 요약

이 논문은 텍스트 데이터의 토픽-메타데이터 관계를 모델링하기 위해 완전한 베이지안 베타 회귀 접근법을 제안한다. 이는 stm 패키지의 최빈제곱법(OLS) 기반 접근법에 비해 주어진 토픽 비율의 유계(0,1) 성격을 고려하여 개선된 결과를 도출한다. 이 방법은 베이지안 프레임워크 내에서 몬테카를로 샘플링을 사용하여 더 일관되고 타당한 예측과 사후 예측 분포를 생성한다. 독일 의회의원들의 트위터 데이터를 대상으로 한 분석을 통해 OLS 및 빈도주의 베타 회귀보다 더 높은 정확도와 해석 가능성 확보를 입증하였다.

ABSTRACT

The objective of advanced topic modeling is not only to explore latent topical structures, but also to estimate relationships between the discovered topics and theoretically relevant metadata. Methods used to estimate such relationships must take into account that the topical structure is not directly observed, but instead being estimated itself in an unsupervised fashion, usually by common topic models. A frequently used procedure to achieve this is the method of composition, a Monte Carlo sampling technique performing multiple repeated linear regressions of sampled topic proportions on metadata covariates. In this paper, we propose two modifications of this approach: First, we substantially refine the existing implementation of the method of composition from the R package stm by replacing linear regression with the more appropriate Beta regression. Second, we provide a fundamental enhancement of the entire estimation framework by substituting the current blending of frequentist and Bayesian methods with a fully Bayesian approach. This allows for a more appropriate quantification of uncertainty. We illustrate our improved methodology by investigating relationships between Twitter posts by German parliamentarians and different metadata covariates related to their electoral districts, using the Structural Topic Model to estimate topic proportions.

연구 동기 및 목표

• stm 패키지의 OLS 회귀 방법이 (0,1) 외부로 예측을 생성하는 등의 제약을 해결하기 위해 주어진 토픽 비율의 유계 성격을 고려하지 않는 문제점을 해결한다.
• stm 패키지의 하이브리드 빈도주의-베이지안 접근법을 완전한 베이지안 프레임워크로 대체하여 토픽 비율의 불확실성을 더 잘 반영한다.
• 잠재 토픽과 텍스트 내 메타데이터 공변량 간의 관계에 대해 일관되고 해석 가능하며 타당한 추론이 가능한 방법을 개발한다.
• 독일 의회의원들의 트위터 게시물 분석을 통해 제안된 방법의 장점을 입증한다. 이는 시간과 사회경제적 메타데이터와의 연관성을 연결한다.

제안 방법

• OLS 회귀를 대체로 토픽 비율을 (0,1) 범위에 유계로 모델링하는 베타 회귀로 전환하여, 예측값이 유효 범위 내에 유지되도록 보장한다.
• 합성 방법에 베타 회귀를 통합하여, 주어진 사후 분포에서 토픽 비율을 몬테카를로 샘플링으로 추출한다.
• 완전한 베이지안 프레임워크를 사용하여 메타데이터 공변량의 다양한 값에 대해 토픽 비율의 사후 예측 분포를 추정한다.
• 구조적 토픽 모델(STM)에 적용하여 문서 수준의 메타데이터를 토픽 비율 추정에 통합할 수 있는 능력을 활용한다.
• MCMC 또는 변분 추론을 사용하여 모델 파라미터의 사후 분포를 확보함으로써 완전한 베이지안 추론을 가능하게 한다.
• 후행 예측 평균과 분위수(예: 85%, 90%, 95%)를 시각화하여 문서 간의 불확실성과 변동성을 보여준다.

실험 결과

연구 질문

• RQ1 독일 의회의원들의 트위터 게시물에서 토픽 비율은 시간에 따라 어떻게 변화하는가? 특히 2019년 연합국 기후 행동 회의와 같은 주요 사건 주변에서 어떻게 변화하는가?
• RQ2 '기후 보호' 토픽 비율과 의회의원 소속 지구대의 실업률, 인당 GDP, 이민자 비율 등의 사회경제적 지표 간의 관계는 어떠한가?
• RQ3 OLS 기반 추정치가 토픽 비율의 유계 성격을 忽시함으로써 부적절한 예측(예: 음수의 토픽 비율)을 초래하는 정도는 어느 정도인가?
• RQ4 완전한 베이지안 베타 회귀 접근법이 빈도주의 대안보다 더 정확하고 해석 가능한 토픽-메타데이터 관계 추정치를 제공할 수 있는가?
• RQ5 다양한 메타데이터 값에서 토픽 비율의 사후 예측 분포는 어떻게 변화하는가? 이는 개인 의원 행동의 이질성(이질성)을 드러내는가?

주요 결과

• stm 패키지의 OLS 기반 접근법은 토픽 비율의 (0,1) 제약 조건을 忽시함으로써 음수의 토픽 비율과 같은 타당하지 않은 예측을 생성한다.
• 빈도주의 베타 회귀는 OLS보다 (0,1) 범위 내에 유지되도록 보장하지만, 여전히 완전한 불확실성 정량화와 일관된 베이지안 해석이 부족하다.
• 제안된 완전한 베이지안 베타 회귀는 유효하고 유계된 예측을 생성하며, 전체 사후 예측 분포의 시각화를 가능하게 하여 의원 간 더 큰 불확실성과 변동성을 드러낸다.
• '기후 보호' 토픽의 경우, 의회의원 소속 지구대의 이민자 비율이 높을수록 논의 빈도가 낮아지는 경향이 있으며, GDP 인당 수준은 약 EUR 70,000에서 정점에 도달하는 비선형 관계를 보인다.
• 사후 예측 분포는 다양한 공변량 값에서 의원 간 토픽 비율에 상당한 변동성이 있음을 보여주며, 점 추정치로는 포착되지 않는 개인 수준의 이질성을 드러낸다.
• 베이지안 접근법은 분위수의 예측 분포 등을 포함한 더 풍부하고 종합적인 토픽-메타데이터 관계 탐색이 가능하게 하여, 더 높은 해석 가능성과 강건성을 확보한다.