[論文レビュー] SoulMate: Short-text author linking through Multi-aspect temporal-textual embedding

Saeed Najafipour, Saeid Hosseini+3 more|arXiv (Cornell University)|Oct 27, 2019

Topic Modeling参考文献 68被引用数 5

ひとこと要約

SoulMateは、コンテンツ、コンセプト、時間的ダイナミクスを統合的にモデル化することで類似度推定を向上させる、短テキスト著者リンクのためのマルチアスペクト時系列的テキスト埋め込みフレームワークを提案する。時間に依存する単語埋め込み、非教師付きコンセプトクラスタリング、重み付きグラフマイニングを統合することで、知識中心のベースラインを上回る優れた性能を達成し、特にα=0.6およびk-medoidsクラスタリングで最適な性能を発揮する。

ABSTRACT

Linking authors of short-text contents has important usages in many applications, including Named Entity Recognition (NER) and human community detection. However, certain challenges lie ahead. Firstly, the input short-text contents are noisy, ambiguous, and do not follow the grammatical rules. Secondly, traditional text mining methods fail to effectively extract concepts through words and phrases. Thirdly, the textual contents are temporally skewed, which can affect the semantic understanding by multiple time facets. Finally, using the complementary knowledge-bases makes the results biased to the content of the external database and deviates the understanding and interpretation away from the real nature of the given short text corpus. To overcome these challenges, we devise a neural network-based temporal-textual framework that generates the tightly connected author subgraphs from microblog short-text contents. Our approach, on the one hand, computes the relevance score (edge weight) between the authors through considering a portmanteau of contents and concepts, and on the other hand, employs a stack-wise graph cutting algorithm to extract the communities of the related authors. Experimental results show that compared to other knowledge-centered competitors, our multi-aspect vector space model can achieve a higher performance in linking short-text authors. Additionally, given the author linking task, the more comprehensive the dataset is, the higher the significance of the extracted concepts will be.

研究の動機と目的

• 短テキスト著者リンクの課題、すなわちノイズの多いコンテンツ、時間的バイアス、コンセプト関連性の検出不足に対処すること。
• ツイートクラスタから直接コンセプトを学習することで、外部知識ベースからのバイアスを排除すること。
• 時間的側面（例：時刻、季節）を複数の時間的フェイズにわたって、時系列的・テキスト的関係をモデル化することにより、意味的理解を向上させること。
• 重み付き統合により、コンテンツベースとコンセプトベースの表現を組み合わせることで著者類似度を向上させること。
• 重み付き類似度グラフ上でスタックワイズのグラフカットアルゴリズムを用いて、高品質な著者サブグラフを抽出すること。

提案手法

• 複数の時間的次元（例：曜日、季節）にわたる単語の近接関係を捉える時間に依存する集合的単語埋め込みモデルを採用する。
• 単語埋め込みの平均または和の集約を用いてツイートレベルのベクトルを生成し、集合的モデルがCBOWを上回ることを確認する。
• 非教師付きクラスタリング（DBSCANまたはk-medoids）を適用してツイートをコンセプトクラスタにグループ化し、得られたクラスタ中心を著者コンセプトベクトルとして使用する。
• ハイパーパrameter α で制御される、コンテンツベース（X^Content）とコンセプトベース（X^Concept）の行列の重み付き統合により著者類似度を計算する。
• 統合された類似度行列に対してスタックワイズのグラフカットアルゴリズムを適用し、最大全域木を著者サブグラフとして抽出する。
• 重み付き適合率指標を用いてクラスタリングおよび統合パラメータを最適化し、k-medoidsがDBSCANに比べて優れたロバスト性を示す。

実験結果

リサーチクエスチョン

• RQ1 複数の時間的フェイズ（例：時間、季節）にわたる時系列的・テキスト的証拠は、短テキスト著者類似度推定をどのように向上させるか？
• RQ2 生のツイート空間からの非教師付きコンセプトクラスタリングは、知識ベースを補完する手法を上回る性能を発揮できるか？
• RQ3 マルチアスペクト著者リンクにおいて、コンテンツベースとコンセプトベースの類似度の最適なバランスは何か？
• RQ4 異なるクラスタリングアルゴリズム（k-medoids対DBSCAN）は、抽出された著者サブグラフの品質にどのように影響するか？
• RQ5 ベクトル集約戦略（和対平均）は、著者コンセプトベクトルの正確性にどのような影響を及えるか？

主な発見

• 時間に依存する集合的単語埋め込みモデルは、CBOWに比べてテキスト的精度を約7%、コンセプト的精度を4%向上させた。
• k-medoidsクラスタリングはDBSCANを上回り、特にK=22でζ値が変化しても安定した精度を維持した。
• コンテンツとコンセプト類似度の最適統合比はα=0.6であり、このときP_TextualおよびP_Conceptualがピークに達した。
• αが0.8を超えると性能が急激に低下し、コンテンツベース類似度を過剰に犠牲にすることはできないことが示された。
• 知識ベースに依存する手法よりも、ツイートクラスタから直接コンセプトを学習することで、KBバイアスを回避し、より高い精度を達成した。
• 重み付き適合率評価により、K=22、ζ=10でk-medoidsが最もロバストで正確なコンセプトベクトル表現を提供することが確認された。