[論文レビュー] Cross-Domain Entity Resolution in Social Media

William M. Campbell, Lin Li+5 more|arXiv (Cornell University)|Aug 3, 2016

Data Quality and Management参考文献 21被引用数 11

ひとこと要約

本稿では、プロフィール、コンテンツ、グラフベースの特徴を用いて、Twitter と Instagram の間でユーザーをリンクするクロスドメインエンティティレゾリューションフレームワークを提案する。文字列照合のためのバーラウス＝ウィレル変換やクロスドメインコミュニティ検出といった新規手法を導入し、特徴の統合によって1%未満の等誤差率（EER）を達成し、実世界のソーシャルメディアデータにおいて最先端の性能を示している。

ABSTRACT

The challenge of associating entities across multiple domains is a key problem in social media understanding. Successful cross-domain entity resolution provides integration of information from multiple sites to create a complete picture of user and community activities, characteristics, and trends. In this work, we examine the problem of entity resolution across Twitter and Instagram using general techniques. Our methods fall into three categories: profile, content, and graph based. For the profile-based methods, we consider techniques based on approximate string matching. For content-based methods, we perform author identification. Finally, for graph-based methods, we apply novel cross-domain community detection methods and generate neighborhood-based features. The three categories of methods are applied to a large graph of users in Twitter and Instagram to understand challenges, determine performance, and understand fusion of multiple methods. Final results demonstrate an equal error rate less than 1%.

研究の動機と目的

• プロフィールがノイズが多く不完全な Twitter や Instagram のようなプラットフォーム間で、ソーシャルメディアユーザーをリンクする課題に対処すること。
• 複数のデータソース（プロフィール、コンテンツ、ネットワーク構造）を用いて、ロバストでスケーラブルなクロスドメインエンティティレゾリューション手法を開発すること。
• プロフィールベース、コンテンツベース、グラフベースの特徴を評価・統合し、エンティティレゾリューションの精度を向上させること。
• 実世界のノイズの多いソーシャルメディアデータにおいて、高度な正規化およびコミュニティ検出技術の有効性を示すこと。
• 欠損データ、自己申告の不正確さ、プラットフォーム固有のノイズが存在する中でも、高精度なエンティティレゾリューションを達成すること。

提案手法

• プロフィールベースの手法は、バーラウス＝ウィレル変換やトークンベースの文字列メトリクスを含む新規の正規化を用いた近似文字列照合を利用する。
• コンテンツベースの手法は、筆まえや言語的パターンに基づいてユーザーを照合する著者特定技術を適用する。
• グラフベースの手法は、ユーザー名とハッシュタグを用いてマルチレイヤーネットワークを構築し、クロスドメインコミュニティ検出を適用して近隣およびコミュニティ特徴を生成する。
• コミュニティ検出のシードは、共通のハッシュタグと正確なユーザー名の一致から得られ、プラットフォーム間でコミュニティを整合させる。
• 特徴の統合は、ロジスティック回帰およびランダムフォレストモデルを用いて、プロフィール、コンテンツ、グラフ特徴からの類似度スコアを統合する。
• 欠損データは、各特徴の組み合わせごとに別々の統合モデルを学習し、テスト時に適切なモデルを選択することで処理する。

実験結果

リサーチクエスチョン

• RQ1 ユーザー名とフルネームのみを用いて、プロフィールベースの手法が Twitter と Instagram 間でエンティティを効果的に解決できるか？
• RQ2 限られたテキストデータを前提としたクロスドメインエンティティレゾリューションにおいて、コンテンツベースの著者特定技術はどの程度の性能を示すか？
• RQ3 特にクロスドメインコミュニティ検出からのグラフベース特徴は、レゾリューション精度をどの程度向上させるか？
• RQ4 プロフィール、コンテンツ、グラフ特徴を統合する最適な戦略は何か？誤差率を最小化するには？
• RQ5 シードの選択（共通のハッシュタグ vs. 確完全なユーザー名）が、グラフベース特徴生成の性能に与える影響はいかほどか？

主な発見

• 共通のハッシュタグをシードとして使用した場合、プロフィール、コンテンツ、グラフベース特徴の統合により、ALL セットでは等誤差率（EER）が 1.00%、NT セットでは 3.32% を達成した。
• 共通のハッシュタグと正確なユーザー名の一致の両方をシードとして使用した場合、統合性能がさらに向上し、ALL セットでは EER が 0.89%、NT セットでは 3.08% に低下した。
• プロフィール特徴とグラフ特徴を組み合わせた場合、最も顕著な性能向上が見られた。特に、低偽陽性率でのミス率低減において、グラフ特徴が顕著に効果的であった。
• ランダムフォレストモデルはロジスティック回帰を上回り、共通のハッシュタグをシードとして使用した場合、ALL で 1.00%、NT で 3.32% の最低 EER を達成した。
• 1ホップおよび2ホップの近隣およびコミュニティ特徴は、性能に顕著なばらつきを示したが、1ホップ特徴の方が2ホップ特徴よりも信頼性が高かった。
• プロフィールおよびコンテンツ特徴にグラフ特徴を追加することで、誤差率が顕著に低下した。これは、クロスドメインレゾリューションにおいて構造的情報の価値を示している。