[논문 리뷰] A Coefficient of Determination for Probabilistic Topic Models

Tommy Jones|arXiv (Cornell University)|2019. 11. 20.

Computational and Text Analysis Methods참고 문헌 16인용 수 9

한 줄 요약

이 논문은 확률적 토픽 모델에 대해 새로운 결정계수($R^2$)를 제안하며, 관측된 단어 빈도를 모델이 예측한 빈도와 비교하여 표준 적합도 측도로 해석한다. 이 방법은 모델 기반 기대 단어 빈도를 법칙의 전체 기대값을 통해 유도하며, $R^2$가 다양한 맥락에서 일관되고 해석 가능한 토픽 모델 적합도 평가 지표임을 입증한다.

ABSTRACT

This research proposes a new (old) metric for evaluating goodness of fit in topic models, the coefficient of determination, or $R^2$. Within the context of topic modeling, $R^2$ has the same interpretation that it does when used in a broader class of statistical models. Reporting $R^2$ with topic models addresses two current problems in topic modeling: a lack of standard cross-contextual evaluation metrics for topic modeling and ease of communication with lay audiences. The author proposes that $R^2$ should be reported as a standard metric when constructing topic models.

연구 동기 및 목표

• 토픽 모델에 대한 표준화되고 다양한 맥락 간 평가가 가능한 측도의 부족을 해결하기 위해.
• 광범위하게 이해되는 통계적 측도를 도입하여 비전문가 대상으로 토픽 모델 성능을 더 잘 전달하기 위해.
• 보다 넓은 통계 모델링과 일관된 방식으로 토픽 모델의 적합도 해석을 체계화하기 위해.
• 관측된 빈도와 기대 빈도를 비교하여 샘플 내 적합도를 평가하는 원칙적인 방법을 제공하기 위해.
• 토픽 모델링 연구 및 실무에서 $R^2$를 권장되는 표준 측도로 정착시키기 위해.

제안 방법

• 법칙의 전체 기대값을 활용하여 잠재 토픽 배정과 단어-토픽 분포를 고려한 문서 내 기대 단어 빈도를 유도한다.
• 문서-어휘 행렬 $\mathbf{W}$를 문서-토픽 비율 $\boldsymbol{\Theta}$와 토픽-어휘 분포 $\boldsymbol{\Phi}$의 곱으로 모델링하며, $\boldsymbol{\theta}_d$와 $\boldsymbol{\phi}_k$ 간 독립성을 가정하여 기대값을 계산한다.
• 기대값이 딜리클레 prior 파라미터 $\boldsymbol{\beta}$에 비례함을 보이며, 모델 파라미터와 기대 어휘 빈도 간 직접적 연결을 제공한다.
• $R^2$ 측도는 관측된 단어 빈도와 모델의 기대 빈도를 비교하여 표준 통계 정의 $R^2 = 1 - \frac{\text{SS}_{\text{res}}}{\text{SS}_{\text{tot}}}$를 사용해 계산한다.
• 기대값의 분석적 계산을 가능하게 하기 위해 문서-토픽과 토픽-어휘 분포 간 독립성을 가정한다.
• 어휘 빈도가 토픽 기반 분포에서 다항분포로 추출되는 생성 과정에 기반하여, 토픽 모델의 생성 원리와 일치한다.

실험 결과

연구 질문

• RQ1 확률적 토픽 모델에 대해 $R^2$를 적합도 측도로 의미 있게 적용할 수 있는가?
• RQ2 제안된 $R^2$ 측도가 토픽 모델의 일관되고 다양한 맥락 간 평가를 가능하게 하는가?
• RQ3 문서 내 기대 단어 빈도가 모델의 파라미터, 특히 $\boldsymbol{\beta}$와 어떻게 관련되어 있는가?
• RQ4 $R^2$가 비전문가 대상으로 토픽 모델 성능의 해석 가능성과 커unikation을 향상시킬 수 있는가?
• RQ5 잠재 변수와 계층적 prior를 가진 모델에 $R^2$를 사용하는 데 이론적 근거는 무엇인가?

주요 결과

• 토픽 모델 기반 문서 내 기대 단어 빈도는 딜리클레 prior 파라미터 $\boldsymbol{\beta}$에 비례하며, 모델 prior와 기대 어휘 빈도 간 직접적 연결을 입증한다.
• 문서-어휘 행렬 $\mathbb{E}(\mathbf{W})$의 기대값은 $\mathbb{E}(n_d) \cdot \boldsymbol{\theta}_d \cdot \boldsymbol{\Phi}$로 유도되며, 기대값은 전체 기대법칙을 통해 계산된다.
• $\boldsymbol{\theta}_d$와 $\boldsymbol{\phi}_k$ 간 독립성을 가정할 경우, $\mathbf{w}_d$의 기대값은 $n_d \cdot \boldsymbol{\beta} / \sum_v \beta_v$로 단순화되며, 이는 $\boldsymbol{\beta}$에 비례함을 보여준다.
• 유도 과정은 모델의 기대 출력이 prior 파라미터 $\boldsymbol{\alpha}$와 $\boldsymbol{\beta}$에 의해 결정됨을 확인하며, $\mathbb{E}(\theta_{d,k}) = \alpha_k / \sum_k \alpha_k$ 및 $\mathbb{E}(\phi_{k,v}) = \beta_v / \sum_v \beta_v$임을 보여준다.
• $R^2$ 측도는 관측된 단어 빈도와 모델의 기대 빈도를 비교함으로써 공식적으로 타당한 적합도 측도로 정당화된다.
• 논문은 $R^2$가 해석 가능성과 보편적인 통계 실천과의 일관성으로 인해 토픽 모델링에서 표준 측도로 보고되어야 한다고 결론 내린다.