[論文レビュー] Knowledge-Based Trust: Estimating the Trustworthiness of Web Sources

Xin Luna Dong, Evgeniy Gabrilovich+6 more|arXiv (Cornell University)|Feb 12, 2015

Access Control and Trust被引用数 14

ひとこと要約

この論文は、要因の正確性と抽出エラーを統合的にモデル化する多層確率的モデルを用いて、Webソースの信頼性を推定するための知識ベース信頼性（KBT）を導入する。28億の抽出事実を用いて1億1900万のWebページと560万のWebサイトを対象に、従来手法よりも優れた精度で信頼できるソースを特定し、ソースエラーと抽出エラーを区別することで、信頼性の高いソースを効果的に同定する。

ABSTRACT

The quality of web sources has been traditionally evaluated using exogenous signals such as the hyperlink structure of the graph. We propose a new approach that relies on endogenous signals, namely, the correctness of factual information provided by the source. A source that has few false facts is considered to be trustworthy. The facts are automatically extracted from each source by information extraction methods commonly used to construct knowledge bases. We propose a way to distinguish errors made in the extraction process from factual errors in the web source per se, by using joint inference in a novel multi-layer probabilistic model. We call the trustworthiness score we computed Knowledge-Based Trust (KBT). On synthetic data, we show that our method can reliably compute the true trustworthiness levels of the sources. We then apply it to a database of 2.8B facts extracted from the web, and thereby estimate the trustworthiness of 119M webpages. Manual evaluation of a subset of the results confirms the effectiveness of the method.

研究の動機と目的

• ハイパーリンクなどの外部信号に依存する伝統的なWebソース品質評価の限界を解決すること。これらの信号はしばしば人気を反映するが、事実の正確性とは無関係である。
• 抽出された情報の事実の正確性に基づいて、内部信号に依存するソース信頼性を推定する手法を開発すること。
• 従来の手法が分離できなかった、Webページ上の事実の誤りと情報抽出システムが引き起こす誤りを区別すること。
• 計算効率と正確性を維持しながら、数十億の事実とWebソースにスケーリング可能な信頼性推定プロセスを構築すること。
• PageRankのような従来の指標を補完する、信頼性がありデータ駆動型のWeb品質評価信号を提供すること。

提案手法

• 要因の正確性とソースおよび抽出者の正確性を同時に推定する多層確率的モデルを用い、ソース信頼性と要因正確性の相互依存性を解消する。
• 抽出を二値指標 X_{ewdv} としてモデル化し、抽出者 e がソース w からデータ項目 d に対して値 v を抽出するかどうかを示す。また、C_{wdv} と T_{dv} をそれぞれソースが提供する要因と事実の真偽を表す潜在変数として用いる。
• 反復的推論を用いて循環的依存を解消する：ソースの正確性は要因の正確性に依存し、要因の正確性はソースの正確性に依存する。複数のソースと抽出者による冗長性を活用して対称性を打ち破る。
• 収束を保証するため、信頼できる知識ベースを用いて信頼性の初期推定値を設定し、データが疎であっても正確な解に収束可能にする。
• 計算スケーラビリティと正確性のバランスを取るために、低カバレッジのページを統合したり、高カバレッジのWebサイトを分割したりすることで、動的にソースの粒度を調整する。
• 28億の要因と1億1900万のWebページにスケーリング可能な、効率的な推論とパrameter推定アルゴリズムを設計し、大規模な展開を可能にする。

実験結果

リサーチクエスチョン

• RQ1 要因の正確性とWebソース・抽出者の信頼性を同時に推定する確率的モデルは、事実の誤りと抽出エラーを区別しながら、要因の正確性と信頼性を推定できるか？
• RQ2 要因が1つまたは数個しか抽出されていないようなデータが疎な状況でも、モデルは正確性と収束性を維持できるか？
• RQ3 動的にソースの粒度（統合または分割）を調整することで、大規模なWebデータにおけるスケーラビリティと推定正確性にどのような影響を与えるか？
• RQ4 信頼性の低いが事実的に正確なWebサイトに対して、KBTはTrustRank や PageRank などの従来手法と比較して、信頼できるソースを効果的に特定できるか？
• RQ5 KBTは、検索や情報抽出システムにおける従来のWeb品質指標と補完的信号として、どの程度活用可能か？

主な発見

• 28億の抽出事実を用いて、1億1900万のWebページと560万のWebサイトの信頼性スコアを信頼性を持って計算し、実世界のWeb規模データへのスケーラビリティを実証した。
• 手動評価により、KBTは人気のないが事実的に正確なWebサイトを効果的に同定でき、ハイパーリンクベースの指標が見過ごしがちなソースも特定できることが確認された。
• 従来の単層アプローチよりも顕著に優れた性能を示し、事実の誤りと抽出エラーを区別することで、信頼できるソースに対する誤った不信を低減した。
• KBTスコアが高水準のWebサイトは、Wikipedia や政府機関サイトなどの権威あるソースが大部分を占め、低スコアのサイトはYahoo Answers など、明らかな事実の誤りを含むフォーラムやゴシップサイトに多い。
• 特に従来手法が失敗するような低データ環境において、より正確なソース信頼性推定を可能にすることで、知識統合のパフォーマンスが向上した。
• 動的なソース粒度の適応戦略により、計算上のボトルネックが効果的に軽減され、要因カバレッジが著しく変動するソース間での推定安定性が向上した。