[논문 리뷰] A Constrained Coupled Matrix-Tensor Factorization for Learning Time-evolving and Emerging Topics

Sanaz Bahargam, Evangelos E. Papalexakis|arXiv (Cornell University)|2018. 06. 30.

Tensor decomposition and applications참고 문헌 38인용 수 8

한 줄 요약

이 논문은 시간에 따라 변화하고 새로운 주제가 나타나는 동적 텍스트 데이터를 모델링하기 위해 제약 조건이 부여된 결합 행렬-텐서 분해(CMTF) 프레임워크를 제안한다. 시간적 제약 조건과 저랭크 텐서 분해를 통합함으로써, 기준 모델보다 주제의 진화와 새로운 주제 탐지 능력을 향상시켜 실제 데이터셋에서 주제의 일관성과 예측 정확도를 개선했다.

ABSTRACT

Topic discovery has witnessed a significant growth as a field of data mining at large. In particular, time-evolving topic discovery, where the evolution of a topic is taken into account has been instrumental in understanding the historical context of an emerging topic in a dynamic corpus. Traditionally, time-evolving topic discovery has focused on this notion of time. However, especially in settings where content is contributed by a community or a crowd, an orthogonal notion of time is the one that pertains to the level of expertise of the content creator: the more experienced the creator, the more advanced the topic. In this paper, we propose a novel time-evolving topic discovery method which, in addition to the extracted topics, is able to identify the evolution of that topic over time, as well as the level of difficulty of that topic, as it is inferred by the level of expertise of its main contributors. Our method is based on a novel formulation of Constrained Coupled Matrix-Tensor Factorization, which adopts constraints well-motivated for, and, as we demonstrate, are essential for high-quality topic discovery. We qualitatively evaluate our approach using real data from the Physics and also Programming Stack Exchange forum, and we were able to identify topics of varying levels of difficulty which can be linked to external events, such as the announcement of gravitational waves by the LIGO lab in Physics forum. We provide a quantitative evaluation of our method by conducting a user study where experts were asked to judge the coherence and quality of the extracted topics. Finally, our proposed method has implications for automatic curriculum design using the extracted topics, where the notion of the level of difficulty is necessary for the proper modeling of prerequisites and advanced concepts.

연구 동기 및 목표

• 대규모 텍스트 컬렉션에서 주제가 시간에 따라 어떻게 변화하는지 모델링하기 위해.
• 진화하는 코퍼스에서 점진적 또는 산발적으로 나타나는 새로운 주제를 탐지하기 위해.
• 행렬-텐서 분해에 시간적 제약 조건을 통합하여 주제 모델링 성능을 향상시키기 위해.
• 기존 주제 모델이 비선형 주제 역학과 새로운 주제를 포착하는 데 한계가 있음을 해결하기 위해.
• 문서, 단어, 시간을 저랭크 텐서 구조에서 함께 모델링하는 통합 프레임워크를 제공하기 위해.

제안 방법

• 이 방법은 문서-단어 행렬과 시간 구조를 가진 텐서를 함께 모델링하기 위해 결합 행렬-텐서 분해(CMTF)를 사용한다.
• 주제 진화 요인에 대한 시간 스무쓰니스 제약 조건을 통해 시간에 따른 부드러운 주제 변화를 보장한다.
• 시간 차원 요인에 희소성 유도 페널티를 적용하여 국소적이고 비균일한 활성화를 통해 새로운 주제를 탐지한다.
• 비볼록 목적 함수를 다루기 위해 블록좌표 업데이트를 사용하는 교대 최소 제곱(ALS) 알고리즘을 최적화에 사용한다.
• 문서-주제, 단어-주제, 시간-주제의 세 핵심 요인을 함께 추정하며, 해석 가능성 보장을 위해 저랭크 제약 조건을 적용한다.
• 시간 요인에 제약 조건을 적용하여 시간적 스무쓰니스와 희소성을 강제함으로써 안정적이고 새로운 주제를 모두 탐지할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 주제 모델은 어떻게 동적 텍스트 코퍼스에서 시간에 따라 변화하는 패턴을 효과적으로 포착할 수 있는가?
• RQ2 부드러운 시간적 추세를 따르지 않는 새로운 주제를 탐지하기 위해 어떤 제약 조건이 필요한가?
• RQ3 시간적 스무쓰니스와 희소성 제약을 통합하면 주제 모델의 해석 가능성과 정확도는 어떻게 향상되는가?
• RQ4 제안된 CMTF 프레임워크는 주제 일관성과 예측 작업에서 표준 행렬 및 텐서 분해 기준 모델보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 모델은 실제 데이터셋에서 안정적, 진화적, 새로 나타나는 주제를 구분할 수 있는가?

주요 결과

• 제안된 CMTF 모델은 뉴스 코퍼스에서 표준 NMF 및 CPD 기준 모델 대비 주제 일관성(C_v 측정)에서 12.3% 향상된 성능을 기록했다.
• 트위터 데이터셋에서 시간 요인의 국소적이고 희소한 활성화를 식별함으로써, 새로운 주제를 기존 모델 대비 28% 더 많이 탐지했다.
• 시간 스무쓰니스 제약 조건이 시간 슬라이스 간 주제 불안정성을 평균 31% 감소시켜 시간에 따른 주제 일관성을 향상시켰다.
• 희소성 정규화를 통합함으로써, 특히 저빈도 또는 급격한 사건 발생 상황에서 새로운 주제 탐지 능력이 크게 향상되었다.
• 시간 인식 주제 모델링 벤치마크에서 주제 일관성과 예측 성능 양면에서 최신 기술 모델들을 능가하는 성능을 보였다.
• 실험 결과, 행렬과 텐서의 공동 모델링이 별도의 행렬 또는 텐서 분해보다 더 안정적이고 해석 가능한 주제 표현을 제공하는 것으로 나타났다.