[論文レビュー] A Bayesian approach to modeling topic-metadata relationships

Patrick Schulze, Simon Wiegrebe+3 more|arXiv (Cornell University)|Apr 6, 2021

Computational and Text Analysis Methods参考文献 17被引用数 4

ひとこと要約

本稿では、テキストデータにおけるトピック-メタデータ関係をモデル化するための完全ベイズ的ベータ回帰アプローチを提案する。stmパッケージが採用する頻度主義的OLS手法に代わり、トピック割合の有界性（0,1）を考慮することで、より妥当な予測と事後予測分布を実現する。モンテカルロサンプリングを用いたベイズ枠組みにより、より一貫性があり妥当な予測が得られ、ドイツ連邦議会議員のTwitterデータを用いた実証により、OLSや頻度主義的ベータ回帰に比べて精度と解釈可能性が向上している。

ABSTRACT

The objective of advanced topic modeling is not only to explore latent topical structures, but also to estimate relationships between the discovered topics and theoretically relevant metadata. Methods used to estimate such relationships must take into account that the topical structure is not directly observed, but instead being estimated itself in an unsupervised fashion, usually by common topic models. A frequently used procedure to achieve this is the method of composition, a Monte Carlo sampling technique performing multiple repeated linear regressions of sampled topic proportions on metadata covariates. In this paper, we propose two modifications of this approach: First, we substantially refine the existing implementation of the method of composition from the R package stm by replacing linear regression with the more appropriate Beta regression. Second, we provide a fundamental enhancement of the entire estimation framework by substituting the current blending of frequentist and Bayesian methods with a fully Bayesian approach. This allows for a more appropriate quantification of uncertainty. We illustrate our improved methodology by investigating relationships between Twitter posts by German parliamentarians and different metadata covariates related to their electoral districts, using the Structural Topic Model to estimate topic proportions.

研究の動機と目的

• stmパッケージのOLS回帰によるトピック-メタデータ関係の分析に伴う、(0,1)の外側の無効な予測の問題を是正すること。
• stmにおけるハイブリッドな頻度主義的・ベイズ的アプローチを、トピック割合の不確実性をより適切に扱える完全ベイズ枠組みに置き換えること。
• 文書の潜在的トピックとメタデータ共変数の関係について、一貫性があり解釈可能で妥当な推論を可能にする手法を開発すること。
• ドイツ連邦議会議員のTwitter投稿を分析することで、時間的要因および社会経済的メタデータと関連するトピック割合の関係を実証すること。

提案手法

• OLS回帰を、トピック割合を(0,1)に有界とするベータ回帰に置き換え、予測値が有効な範囲内に保たれるようにすること。
• 合成法（method of composition）にベータ回帰を統合し、トピック割合をその事後分布からモンテカルロサンプリングで抽出すること。
• 完全ベイズ枠組みを用いて、メタデータ共変数の異なる値におけるトピック割合の事後予測分布を推定すること。
• トピック割合推定に文書レベルのメタデータを統合できる構造的トピックモデル（STM）に本手法を適用すること。
• MCMCまたは変分ベイズ推論を用いて、モデルパラメータの事後分布を取得し、完全なベイズ的推論を可能にすること。
• 事後予測平均および分位数（例：85番目、90番目、95番目）を可視化することで、ドキュメント間での不確実性とばらつきを明らかにすること。

実験結果

リサーチクエスチョン

• RQ1 ドイツ連邦議会議員のTwitter投稿におけるトピック割合は、2019年国連気候行動サミットなどの主要イベントの周辺でどのように変化するか？
• RQ2 議員の選挙区における失業率、1人当たりGDP、移民割合といった社会経済的指標と、「気候保護」トピックの割合の関係は何か？
• RQ3 OLSベースの推定が、トピック割合の有界性（0,1）を無視することで、非現実的（例：負のトピック割合）な予測を生じる程度はどの程度か？
• RQ4 完全ベイズ的ベータ回帰アプローチは、頻度主義的代替手法に比べ、トピック-メタデータ関係の推定においてより正確で解釈可能な結果をもたらすか？
• RQ5 異なるメタデータ値におけるトピック割合の事後予測分布は、個々の議員行動の非均質性をどのように示すか？

主な発見

• stmパッケージのOLSベースの手法は、トピック割合の(0,1)制約を無視することで、負のトピック割合を含む無効な予測を生じる。
• 頻度主義的ベータ回帰は、予測値が(0,1)に保たれる点でOLSを改善するが、完全な不確実性の定量化と一貫性のあるベイズ的解釈を欠く。
• 提案された完全ベイズ的ベータ回帰は、妥当で有界な予測を実現し、全事後予測分布の可視化を可能にし、議員間での不確実性とばらつきが顕著に現れる。
• 「気候保護」トピックに関しては、議員の選挙区における移民割合の上昇と、議論頻度の低下が関連している。一方、GDP per capitaは、約7万ユーロでピークを示す非線形的関係が観察された。
• 事後予測分布は、異なる共変数値における議員間でトピック割合に顕著なばらつきを示しており、点推定値では捉えきれない個々の議員の非均質性が明らかになった。
• ベイズ的アプローチにより、予測分布の分位数の可視化を含め、トピック-メタデータ関係の包括的で洗練された探索が可能となり、解釈可能性と頑健性が向上した。