[논문 리뷰] Evaluating topic coherence measures

F. Rosner, Alexander Hinneburg외 3명|arXiv (Cornell University)|2014. 03. 25.

Topic Modeling참고 문헌 13인용 수 54

한 줄 요약

이 논문은 과학 철학에서 유래한 이차 이상의 단어 부분집합 관계를 고려하여 주제 일관성 측정법을 확장함으로써, 다수의 수준의 일관성 측정법(예: one-any, any-any)이 기존의 이변수 측정법(Umass 및 UCI)보다 인간의 주제 해석성 평가와 더 잘 일치함을 보여준다. 연구는 이러한 고급 일관성 측정법을 직접 최적화할 경우 기존 주제 모델링보다 더 해석 가능한 주제를 생성할 수 있음을 시사하며, 이는 단독 최적화 목표로의 가치를 보여준다.

ABSTRACT

Topic models extract representative word sets - called topics - from word counts in documents without requiring any semantic annotations. Topics are not guaranteed to be well interpretable, therefore, coherence measures have been proposed to distinguish between good and bad topics. Studies of topic coherence so far are limited to measures that score pairs of individual words. For the first time, we include coherence measures from scientific philosophy that score pairs of more complex word subsets and apply them to topic scoring.

연구 동기 및 목표

• 복잡한 단어 부분집합(이중 단어 관계를 초월) 기반의 일관성 측정법이 주제의 인간 해석성과 얼마나 잘 반영되는지 평가하는 것.
• 이러한 고급 일관성 측정법이 주제 생성을 위한 효과적인 최적화 목표로 기능할 수 있는지 테스트하는 것.
• 철학적 일관성 측정법(One-all, One-any, Any-any)과 표준 NLP 일관성 측정법(UMass, UCI)을 인간 평가를 통해 비교하는 것.
• 주제 모델에 의존하지 않고 일관성 최적화를 통해 직접 해석 가능한 주제를 생성하는 것이 가능한지 조사하는 것.

제안 방법

• 연구는 'One-all', 'One-any', 'Any-any'라는 세 가지 철학적 일관성 측정법을 도입하고 적용하며, 이는 단지 이중 단어 쌍이 아닌 단어 부분집합 간의 지지 관계를 평가한다.
• Heuristic beam search 알고리즘을 사용하여 두 개의 코퍼스에서 TF-IDF 상위 어휘를 기반으로 각 일관성 측정법을 직접 최적화함으로써 단어 집합을 생성한다.
• 평가를 위해 beam search를 통해 500개의 단어 집합을 생성함(k=3, l=5)하고, 인간 평가자가 3점 척도(좋음, 중립, 나쁨)로 해석 가능성을 평가한다.
• 인간 평가 결과를 기반으로 일관성 점수와 해석 가능성 인식 간의 Kendall’s tau 순위 상관관계를 계산한다.
• 이 방법은 인위적으로 생성된 단어 집합(실험 I)과 LDA에 의해 생성된 주제(실험 III) 양쪽에서 일관성 측정법을 비교한다.
• 비중첩 단어 부분집합 W'과 W* 간의 지지 정도를 정량화하기 위해 확인 측정법 d(W', W*) = p(W'|W*) - p(W')를 사용한다.

실험 결과

연구 질문

• RQ1 이중 단어 쌍이 아닌 단어 부분집합 관계 기반의 일관성 측정법이 주제의 인간 해석 가능성 예측에 더 효과적인가?
• RQ2 철학적 일관성 측정법인 'One-any'와 'Any-any'가 UMass 및 UCI와 같은 표준 NLP 일관성 측정법보다 인간 평가와 더 잘 일치하는가?
• RQ3 일관성 측정법을 직접 최적화하는 것이 주제 모델에 의존하지 않고도 해석 가능한 단어 집합을 생성하는 데 실현 가능하고 효과적인 방법인가?
• RQ4 다양한 일관성 측정법은 인위적 단어 집합과 실제 LDA 주제에 적용되었을 때 각각 어떻게 성능을 발휘하는가?

주요 결과

• 'One-any' 및 'Any-any' 일관성 측정법은 생성된 단어 집합에서 인간 평가와 가장 높은 Kendall’s tau 순위 상관관계(각각 0.592 및 0.557)를 기록하였으며, 이는 UMass(0.074) 및 UCI(0.224)를 크게 앞서는 성능을 보였다.
• LDA에 의해 생성된 주제에 대해서도 'Any-any' 및 'One-any' 일관성 측정법이 인간 평가와 가장 강한 상관관계(독일어 기준 0.379 및 0.376, 영어 기준 0.242 및 0.239)를 보였으며, UCI(0.371) 및 UMass(0.243)를 초월하였다.
• 'One-all' 일관성 측정법 역시 뛰어난 성능을 보였으며, 독일어 단어 집합에 대해 인간 평가와 0.568의 일치율을 기록하여 인간의 해석 가능성과 강력한 일치를 보였다.
• UMass 일관성 측정법은 인간 판단과 가장 낮은 상관관계(영어 기준 0.074)를 보였으며, 이는 인간이 주제 품질을 어떻게 인식하는지와의 불일치를 시사한다.
• 철학적 일관성 측정법을 직접 최적화함으로써 높은 해석 가능성을 가진 단어 집합을 생성할 수 있었으며, 이는 이러한 측정법이 주제 생성을 위한 효과적인 단독 최적화 목표로 활용될 수 있음을 시사한다.
• 결과는 이중 일관성 측정법이 복잡한 의미적 관계를 포착하지 못함을 보여주며, 예를 들어 {bow, tie, match, deck}과 같은 집합에서 이중 어휘 쌍은 점수는 좋지만 전체 집합은 해석 가능성이 떨어지는 경우가 있음을 보여준다.