[論文レビュー] A Methodology to Extract Social Network from the Web Snippet

Mahyuddin K. M. Nasution, Shahrul Azman Mohd Noah|arXiv (Cornell University)|Nov 26, 2012

Web Data Mining and Analysis参考文献 8被引用数 6

ひとこと要約

本稿では、クエリベースの共起、シングルトンおよびダブルトンヒットカウント、URL分析に基づく表面的で簡易的な手法を用いて、Webスニペットから社会的ネットワークを抽出する半自動的手法を提案する。関連ルールとジャカード係数のような類似度測定法を用いることで、クエリの複雑さをO(n²)に低減し、非構造的Webデータからのスケーラブルで動的かつ社会的ネットワークモデリングを可能にする。

ABSTRACT

The Web has been chosen as a basic infrastructure to gain the social structure information, through the social network extraction, from all over the world. However, most of the web documents are unstructured and lack of semantics. Moreover, that network is subject to all kinds of changes and dynamics, and a network can be very complex due to the large number of nodes and links Web contains. In this paper, we discuss a methodology that meant to assists in extracting and modeling the social network from Web snippet. As the manual social network extraction of web documents is impractical and unscalable, and fully automated extraction are still at the very early stage to be implemented, we proposed a (semi)-automatic extraction based on the superficial methods.

研究の動機と目的

• 非構造的で意味論的に乏しいWeb文書からスケーラブルで動的な社会的ネットワークを抽出する課題に対処すること。
• 再帰的な検索エンジンクエリを最小限に抑えることで、社会的ネットワーク抽出における計算コストとクエリ負荷を低減すること。
• 関係検出に表面的なWebコンテンツ（名前、キーワード、URL）を活用する実用的で教師なしの手法を開発すること。
• 共起統計とジャカード係数のような類似度測定法を用いて、アクター間の関係強度をモデル化すること。
• 検索エンジンのヒットカウントとスニペット分析を用いたルールベースの推論により、潜在的な社会的関係を検出可能にすること。

提案手法

• アクター同士の名前が非ゼロの共通部分を持つスニペットに共起する場合に限り、関係の可能性を検出するルールベースのアプローチ（ルール1）を用いる。
• 検索エンジンクエリからのシングルトン（|a|）およびダブルトン（|a ∩ b|）ヒットカウントを用いて、関係の強度を推定する。
• ジャカード係数のような類似度測定法：sim(t_a, t_b) = |a ∩ b| / (|a| + |b| - |a ∩ b|) を用いて関係強度を定量化する。
• ドメイン固有のキーワードを組み込むことで共起バイアスを低減する「キーワードを用いた関係強度（SRwK）」を導入する。
• URL構造を活用して、関係強度の背後にある強度を推定する（USR）；URLトークンとドメイン名を関係強度の指標として扱う。
• ルールベースのフィルタリングにより重複クエリを排除することで、n人のアクターに対して合計クエリ数を ≤ n(n-1)/2 に低減する。

実験結果

リサーチクエスチョン

• RQ1 意味的アノテーションにほとんど依存しないで、非構造的Webスニペットから社会的ネットワーク関係をどのように抽出できるか。
• RQ2 大規模な社会的ネットワーク抽出において、クエリ効率と関係の正確性の最適なバランスは何か。
• RQ3 シングルトンおよびダブルトンの共起統計をどのように用いて、アクター間の意味のある関係強度を推定できるか。
• RQ4 URL構造とキーワード補強は、検出された関係の信頼性をどの程度向上できるか。
• RQ5 クエリ負荷を最小限に抑えつつ、社会的ネットワーク抽出のスケーラビリティを維持するためのルールベース戦略は何か。

主な発見

• 提案手法により、n人のアクターに対して必要なクエリ数が ≤ n(n-1)/2 にまで低減され、スケーラビリティが顕著に向上した。
• ルール1は、アクター同士の名前が検索結果で非ゼロの共通部分を持つことを確認することで、関係の可能性を効果的に検出できた。
• シングルトンおよびダブルトンヒットカウントに対するジャカード類似度の使用により、関係強度の定量的推定が可能になった。
• キーワードの組み込み（SRwK）により、共起に基づく関係推定のバイアスが低減され、関係の信頼性が向上した。
• URLベースの分析（USR）は、関係強度の背後にある証拠を追加で提供し、複数の情報源による検証を支援した。
• 本手法は、事前にラベル付けされたデータや複雑なNLPパイプラインを必要とせず、Webスニペットからの動的かつ教師なしの社会的ネットワークモデリングを可能にした。