[논문 리뷰] SoulMate: Short-text author linking through Multi-aspect temporal-textual embedding

Saeed Najafipour, Saeid Hosseini외 3명|arXiv (Cornell University)|2019. 10. 27.

Topic Modeling참고 문헌 68인용 수 5

한 줄 요약

SoulMate는 콘텐츠, 개념, 시간 동적 요소를 종합적으로 모델링하여 유사도 추정을 향상시키는 다면적 시간-텍스트 임베딩 프레임워크를 제안한다. 시간 인식 단어 임베딩, 비지도 개념 클러스터링, 가중 그래프 마이닝을 융합함으로써 지식 중심 기준선 대비 뛰어난 성능을 달성하였으며, 최적의 성능은 α=0.6 및 k-medoids 클러스터링에서 관찰되었다.

ABSTRACT

Linking authors of short-text contents has important usages in many applications, including Named Entity Recognition (NER) and human community detection. However, certain challenges lie ahead. Firstly, the input short-text contents are noisy, ambiguous, and do not follow the grammatical rules. Secondly, traditional text mining methods fail to effectively extract concepts through words and phrases. Thirdly, the textual contents are temporally skewed, which can affect the semantic understanding by multiple time facets. Finally, using the complementary knowledge-bases makes the results biased to the content of the external database and deviates the understanding and interpretation away from the real nature of the given short text corpus. To overcome these challenges, we devise a neural network-based temporal-textual framework that generates the tightly connected author subgraphs from microblog short-text contents. Our approach, on the one hand, computes the relevance score (edge weight) between the authors through considering a portmanteau of contents and concepts, and on the other hand, employs a stack-wise graph cutting algorithm to extract the communities of the related authors. Experimental results show that compared to other knowledge-centered competitors, our multi-aspect vector space model can achieve a higher performance in linking short-text authors. Additionally, given the author linking task, the more comprehensive the dataset is, the higher the significance of the extracted concepts will be.

연구 동기 및 목표

• 노이즈가 많은 콘텐츠, 시간적 편향, 개념 관련성 탐지 부족 등의 과제를 해결하기 위해.
• 트윗 클러스터에서 직접 개념을 학습함으로써 외부 지식 기반의 편향을 제거하기 위해.
• 시간의 여러 측면(예: 시간대, 계절 등)을 고려한 시간-텍스트 관계를 모델링하여 의미적 이해를 향상시키기 위해.
• 가중 융합을 통해 콘텐츠 기반 및 개념 기반 표현을 조합하여 저자 유사도를 향상시키기 위해.
• 가중 유사도 그래프에 대해 스택 기반 그래프 컷팅 알고리즘을 적용하여 고품질 저자 서브그래프를 추출하기 위해.

제안 방법

• 다중 시간 차원(예: 요일, 계절 등)에서 단어 간 근접도를 포괄하는 시간 인식 집단 단어 임베딩 모델을 적용한다.
• 어维드 또는 합산 집계를 통해 트윗 수준의 벡터를 생성하며, 집단 모델이 CBOW보다 우수한 성능을 보였다.
• 비지도 클러스터링(DbSCAN 또는 k-medoids)을 적용하여 트윗을 개념 클러스터로 그룹화하고, 클러스터 중심을 저자 개념 벡터로 사용한다.
• 하이퍼파rameter α로 제어되는 콘텐츠 기반(X^Content) 및 개념 기반(X^Concept) 행렬의 가중 융합을 통해 저자 유사도를 계산한다.
• 융합된 유사도 행렬에 대해 스택 기반 그래프 컷팅 알고리즘을 적용하여 최대 스펙트럼 트리를 저자 서브그래프로 추출한다.
• 가중 정밀도 지표를 통해 클러스터링 및 융합 파라미터를 최적화하였으며, k-medoids가 DbSCAN보다 더 뛰어난 강건성을 보였다.

실험 결과

연구 질문

• RQ1 다양한 시간 측면(예: 시간대, 계절 등)에서의 시간-텍스트 증거는 어떻게 단기 텍스트 저자 유사도 추정을 향상시키는가?
• RQ2 원시 트윗 공간에서의 비지도 개념 클러스터링은 지식 기반 보강 방법보다 저자 연결에서 더 나은 성능을 내는가?
• RQ3 다면적 저자 연결에서 콘텐츠 기반 및 개념 기반 유사도 간 최적의 균형은 무엇인가?
• RQ4 다른 클러스터링 알고리즘(k-medoids 대비 DbSCAN)은 추출된 저자 서브그래프의 품질에 어떤 영향을 미치는가?
• RQ5 벡터 집계 전략(합산 대비 평균)은 저자 개념 벡터 정밀도에 어떤 영향을 미치는가?

주요 결과

• 시간 인식 집단 단어 임베딩 모델은 CBOW 대비 약 7%의 텍스트 정밀도 향상과 4%의 개념 정밀도 향상을 달성하였다.
• k-medoids 클러스터링은 개념 탐지에서 DbSCAN을 초월하였으며, 특히 K=22일 때 ζ 값에 관계없이 안정적인 정밀도를 유지하였다.
• 콘텐츠 및 개념 기반 유사도의 최적 융합 비율은 α=0.6였으며, 이때 P_Textual 및 P_Conceptual이 최고 성능에 도달하였다.
• α가 0.8를 초과하면 성능이 급격히 저하되어 콘텐츠 기반 유사도를 개념적 관련성 확보를 위해 과도하게 희생시킬 수 없다는 점이 확인되었다.
• 지식 기반 경쟁자보다 높은 정밀도를 달성하였으며, 이는 트윗 클러스터에서 직접 개념을 학습함으로써 지식 기반의 편향을 피했기 때문이다.
• 가중 정밀도 평가를 통해 ζ=10, K=22에서 k-medoids가 가장 강건하고 정확한 개념 벡터 표현을 제공하는 것으로 확인되었다.