[논문 리뷰] Topic supervised non-negative matrix factorization

Kelsey MacMillan, James Wilson|arXiv (Cornell University)|2017. 06. 12.

Topic Modeling참고 문헌 17인용 수 9

한 줄 요약

이 논문은 주제 지도형 비음수 행렬 분해(TS-NMF)를 소개한다. 이는 라벨된 예시 문서를 통한 지도를 통해 주제 탐색을 이끌어내어 해석 가능성성을 향상시키는 반감독 주제 모델링 방법이다. 라벨된 문서에서 주제의 존재 또는 부재를 제약 조건으로 설정함으로써 TS-NMF는 10–20%의 지도 비율에서도 비지도 NMF와 LDA보다 더 높은 가중 Jaccard 유사도를 달성하며, 안정적인 학습을 보장하는 단조적이고 수렴하는 최적화 알고리즘을 제공한다.

ABSTRACT

Topic models have been extensively used to organize and interpret the contents of large, unstructured corpora of text documents. Although topic models often perform well on traditional training vs. test set evaluations, it is often the case that the results of a topic model do not align with human interpretation. This interpretability fallacy is largely due to the unsupervised nature of topic models, which prohibits any user guidance on the results of a model. In this paper, we introduce a semi-supervised method called topic supervised non-negative matrix factorization (TS-NMF) that enables the user to provide labeled example documents to promote the discovery of more meaningful semantic structure of a corpus. In this way, the results of TS-NMF better match the intuition and desired labeling of the user. The core of TS-NMF relies on solving a non-convex optimization problem for which we derive an iterative algorithm that is shown to be monotonic and convergent to a local optimum. We demonstrate the practical utility of TS-NMF on the Reuters and PubMed corpora, and find that TS-NMF is especially useful for conceptual or broad topics, where topic key terms are not well understood. Although identifying an optimal latent structure for the data is not a primary objective of the proposed approach, we find that TS-NMF achieves higher weighted Jaccard similarity scores than the contemporary methods, (unsupervised) NMF and latent Dirichlet allocation, at supervision rates as low as 10% to 20%.

연구 동기 및 목표

• 비지도 주제 모델에서 발견된 주제가 인간의 직관과 일치하지 않는다는 해석 가능성 격차를 해결하기 위해.
• 사용자가 제공한 라벨된 예시 문서를 통해 주제 탐색을 이끌 수 있는 반감독 방법을 개발하기 위해.
• 특히 넓은 범위이거나 개념적으로 모호한 주제에서 인간 라벨 주제와의 일치도를 향상시키기 위해 주제 모델 성능을 향상시키기 위해.
• 문제의 비볼록성에도 불구하고 최적화 과정이 단조롭고 수렴하도록 보장하기 위해.
• 실세계 코퍼스에서 방법을 평가하고 낮은 라벨링 비용에서도 실용성을 입증하기 위해.

제안 방법

• TS-NMF는 사용자가 제공한 라벨된 문서를 지도로 통합하여 표준 NMF를 확장하여, 해당 문서에서 특정 주제의 존재 또는 부재를 제약 조건으로 설정한다.
• 라벨된 문서에서 주제 제약 조건을 강제하면서 복구 오차를 최소화하는 비볼록 최적화 문제를 설정한다.
• 단조적이고 국소 최적해로 수렴하는 반복적 승법 업데이트 알고리즘을 유도한다.
• 오차 가중치는 손실 함수에서 라벨된 문서의 우선순위를 높여, 낮은 라벨링 비율에서 지도의 민감도를 향상시킨다.
• W와 H 행렬에 대해 가중치가 적용된 업데이트를 사용하며, 여기서 W는 문서-주제 가중치를 나타내고 H는 주제-어휘 분포를 나타낸다.
• 이 방법은 라벨된 지도가 있는 비음수 행렬 분해 작업 전반에 대해 일반화 가능하다.

실험 결과

연구 질문

• RQ1 반감독 주제 모델링은 비지도 방법에 비해 발견된 주제와 인간 라벨 주제 간의 일치도를 향상시킬 수 있는가?
• RQ2 낮은 지도 비율(예: 10–20%)에서 TS-NMF는 주제의 해석 가능성성을 향상시키는 데 얼마나 효과적인가?
• RQ3 주제 제약 조건을 통해 라벨된 예시를 통합하면 더 의미 있고 일관성 있는 주제 표현이 도출되는가?
• RQ4 라벨된 데이터가 부족할 경우 오차 가중치는 모델 성능에 어떤 영향을 미치는가?
• RQ5 주어진 지도 비율에서 라벨된 집합 내 주제 커버리지가 모델 품질의 신뢰할 수 있는 예측 지표인가?

주요 결과

• TS-NMF는 레이터스 및 푸블리메드 코퍼스에서 지도 비율이 10%에서 20%일 때 비지도 NMF와 LDA보다 더 높은 가중 Jaccard 유사도 점수를 달성한다.
• 이 방법은 특히 핵심 어휘가 잘 정의되어 있지 않은 넓은 또는 모호한 주제에서 주제의 해석 가능성을 크게 향상시킨다.
• 0.2에서 0.7의 지도 비율 전반에서 가중치가 적용된 TS-NMF는 가중치가 적용되지 않은 TS-NMF보다 성능이 뛰어나, 오차 가중치가 라벨된 데이터에 대한 민감도를 향상시킨다는 것을 시사한다.
• 주어진 지도 비율에서 라벨된 부분집합 내 주제 커버리지와 모델 성능 사이에 유의미한 상관관계가 없음을 확인하여, 모델 품질은 커버리지보다 지도의 질에 더 의존한다는 것을 시사한다.
• TS-NMF를 위한 반복적 알고리즘은 단조롭고 국소 최솟값으로 수렴하여 안정적이고 신뢰할 수 있는 최적화를 보장한다.
• TS-NMF는 사용자가 라벨된 예시를 통해 주제 탐색을 이끌 수 있도록 함으로써 비지도 모델의 해석 가능성 오류를 줄이며, 더 직관적이고 사용 가능한 주제 출력을 이끌어낸다.