[論文レビュー] Incremental Knowledge Base Construction Using DeepDive

Jaeho Shin, Sen Wu+4 more|arXiv (Cornell University)|Feb 3, 2015

Geochemistry and Geologic Mapping被引用数 15

ひとこと要約

本論文では、インクリメンタルなグラウンディングと推論を可能にするオープンソースシステムDeepDiveを提示する。サンプリングと変分推論の2つの近似推論技術を組み合わせ、ルールベースの最適化手法を適用することで、品質損失を最小限に抑えつつKBCパイプラインで最大100倍の高速化を達成し、知識ベースシステムの反復的開発サイクルを著しく加速する。

ABSTRACT

Populating a database with unstructured information is a long-standing problem in industry and research that encompasses problems of extraction, cleaning, and integration. Recent names used for this problem include dealing with dark data and knowledge base construction (KBC). In this work, we describe DeepDive, a system that combines database and machine learning ideas to help develop KBC systems, and we present techniques to make the KBC process more efficient. We observe that the KBC process is iterative, and we develop techniques to incrementally produce inference results for KBC systems. We propose two methods for incremental inference, based respectively on sampling and variational techniques. We also study the tradeoff space of these methods and develop a simple rule-based optimizer. DeepDive includes all of these contributions, and we evaluate DeepDive on five KBC systems, showing that it can speed up KBC inference tasks by up to two orders of magnitude with negligible impact on quality.

研究の動機と目的

• 知識ベース構築（KBC）システムの反復的開発サイクルを加速すること。KBCシステムは一般的に遅く、人的作業が多用される。
• データやプログラムの変更後に要因グラフの更新をインクリメンタルに可能にすることで、KBCにおける統計的推論の計算ボトル neck を解消すること。
• ワークロードの特性に応じて、サンプリングと変分推論の間で動的に最適な手法を選択する、トレードオフに配慮した推論システムを設計すること。
• 多様な分野にまたがる実世界のKBCアプリケーションにおいて、インクリメンタル推論の性能と品質のトレードオフを評価すること。
• スケーラブルで生産環境対応のシステムを提供し、高品質な知識ベースを構築するエンジニアの迅速な反復開発を支援すること。

提案手法

• DeepDiveは、SQLとマークフ・ロジック・ネットワークに基づく宣言的言語を用いてKBCパイプラインを定義し、データベース技術と機械学習技術の統合を可能にする。
• 入力データやルールの更新に応じて要因グラフの出力がどのように変化するかを記述する「デルタルール」を指定することで、グラウンディングをインクリメンタルに実現し、冗長な計算を削減する。
• 推論には、適応的受容率を用いたギブスサンプリングと、平均場近似を用いた変分推論の2つの近似推論手法を実装する。
• ワークロードの特性（分布の安定性、要因グラフのサイズなど）に基づいて、変数グループごとにサンプリングと変分推論のどちらを選択するかをルールベースの最適化エンジンが決定する。
• すべての抽出事実について、補正済みの周辺確率を維持することで、予測確率が実際の正例の割合を的確に反映するように保証する（例：0.9の確率は約90％の正例を示す）。
• 中間推論状態の物性化により、コストのアモアタイズド回収が可能となり、複数回の更新にわたってインクリメンタル設定の初期コストを相殺できる。

実験結果

リサーチクエスチョン

• RQ1 データやルールの変更後に再計算を減らすために、知識ベース構築のグラウンディング段階をどのようにインクリメンタルにできるか？
• RQ2 インクリメンタルKBCシステムにおいて、サンプリングベースと変分推論の性能と品質のトレードオフは何か？
• RQ3 ワークロードに応じて動的に推論手法を選択する戦略は、正確性を損なわせずにエンドツーエンドの性能を向上させられるか？
• RQ4 実世界のアプリケーションにおいて、インクリメンタル推論はKBCパイプラインの合計実行時間をどの程度短縮できるか？
• RQ5 高速でインクリメンタルな更新を可能にしつつ、補正済みの確率をどのように維持できるか？

主な発見

• DeepDiveは、5つの実世界のKBCシステムにおいて、推論実行時間に最大2桁（100倍）の高速化を達成し、精度と再現率への影響はほとんどなかった。
• ニュース系システムでは、分布が安定している間は、高い受容率と低い再計算オーバーヘッドのおかげで、サンプリングベースのアプローチが最大11倍の高速化を実現した。
• 古生物学系システムでは、1変数あたりの要因グラフが小さく、完全な推論が安価で、インクリメンタル更新に適していたため、10倍の高速化が達成された。
• ルールベースの最適化エンジンは、固定戦略のベースラインを最大2倍速く実行し、変数グループごとに最適な推論手法を動的に選択することで性能を向上させた。
• インクリメンタル設定の初期コスト（12時間）は、複数回の更新にわたって amortized され、反復的開発において非常に効率的であった。
• レジオンスタディーにより、サンプリングまたは変分推論のいずれかを無効化すると性能が著しく低下することが確認された（特に監視ルールで変分推論を無効化した場合、最大36倍遅くなった）— これにより、二重手法のトレードオフ空間の重要性が裏付けられた。