[論文レビュー] CrowdGather: Entity Extraction over Structured Domains

Theodoros Rekatsinas, Amol Deshpande+1 more|arXiv (Cornell University)|Feb 24, 2015

Mobile Crowdsensing and Crowdsourcing参考文献 36被引用数 3

ひとこと要約

CrowdGather は、階層的属性クエリを活用することで、構造的ドメインにおけるクラウドソーシングによるエンティティ抽出のための適応的で予算に配慮したフレームワークを提案する。統計的利得推定とクエリの重複分析を用いて、高価値のクエリを動的に選択し、同じ予算条件下でベースラインと比較して最大4倍のエンティティ抽出効率を達成する。

ABSTRACT

Crowdsourced entity extraction is often used to acquire data for many applications, including recommendation systems, construction of aggregated listings and directories, and knowledge base construction. Current solutions focus on entity extraction using a single query, e.g., only using "give me another restaurant", when assembling a list of all restaurants. Due to the cost of human labor, solutions that focus on a single query can be highly impractical. In this paper, we leverage the fact that entity extraction often focuses on {\em structured domains}, i.e., domains that are described by a collection of attributes, each potentially exhibiting hierarchical structure. Given such a domain, we enable a richer space of queries, e.g., "give me another Moroccan restaurant in Manhattan that does takeout". Naturally, enabling a richer space of queries comes with a host of issues, especially since many queries return empty answers. We develop new statistical tools that enable us to reason about the gain of issuing {\em additional queries} given little to no information, and show how we can exploit the overlaps across the results of queries for different points of the data domain to obtain accurate estimates of the gain. We cast the problem of {\em budgeted entity extraction} over large domains as an adaptive optimization problem that seeks to maximize the number of extracted entities, while minimizing the overall extraction costs. We evaluate our techniques with experiments on both synthetic and real-world datasets, demonstrating a yield of up to 4X over competing approaches for the same budget.

研究の動機と目的

• 大規模で多様なドメインにおける単一クエリのクラウドソーシングによるエンティティ抽出の高コストと低カバレッジを解消すること。
• 階層的属性を持つ構造的ドメインにおいて、適応的クエリを実行することで、希少または人気の低いエンティティの発見を向上させること。
• 固定された金銭的予算内で、抽出可能なユニークなエンティティの数を最大化すること。
• 事前に情報がほとんどない状況において、追加クエリの期待利得を推定する統計的手法を開発すること。
• クエリ結果の構造的重複を活用して、スパースドメインにおけるコスト効率の高いクエリ選択を支援すること。

提案手法

• 各ノードが属性値の組み合わせであるクエリを表す部分順序集合（poset）として、構造的ドメインをモデル化する。
• 初期結果がスパースな状況において、追加クエリの期待利得を推定する回帰ベースの手法を導入する。
• クエリ結果の重複を活用して、poset全体における潜在的利得を推定し、適応的クエリ選択をガイドする。
• 予算制約のもとで、探索（新規クエリ）と活用（高利得クエリの繰り返し）のバランスを取る適応的最適化アルゴリズムを適用する。
• 母集団サイズについて事前の知識が欠如している状況でも、新たなエンティティが発見される可能性を推論する統計的手法を活用する。
• 既知の属性の階層的構造（例：料理の種別、場所、デリバリー可否）を活用して、的を射た多様なクエリを生成する。

実験結果

リサーチクエスチョン

• RQ1 初期結果がスパースな状況において、コストを最小限に抑えながら大規模な構造的データドメインをクラウドソーシングで効率的に探索する方法は何か？
• RQ2 初期結果がスパースな状況において、追加クエリの期待利得を推定する統計的手法は何か？
• RQ3 クエリ結果の重複を活用することで、スパースドメインにおける適応的クエリ選択をどのようにガイドできるか？
• RQ4 構造的ドメインにおける適応的クエリ選択は、固定クエリ戦略と比較してエンティティ抽出効率とコスト効率の面でどのように異なるか？
• RQ5 限られた予算と部分的な情報のもとで、完全な情報を持つ「全能的戦略」に近い性能を達成できるか？

主な発見

• CrowdGather は、同じ予算条件下で、競合するベースライン手法と比較して最大4倍のエンティティ抽出効率を達成する。
• フレームワークは、poset 内の未探索で高ポentialな領域に焦点を動的にシフトすることで、人気のあるエンティティに対する無駄なクエリを削減する。
• 大規模でスパースなドメインにおいて、CrowdGather の性能は完全な情報を有する「全能的戦略」の25％以内に収まる。
• 回帰ベースの利得推定手法は、初期データが非常に少ない状況でもクエリの有用性を効果的に予測できる。
• クエリ間の構造的重複を活用することで、クエリ選択の効率が著しく向上し、重複作業が削減される。
• 合成データおよび実世界のデータセットにおいて、固定クエリおよび単一クエリアプローチと比較して、適応的戦略はカバレッジとコスト効率の両面で優れた性能を示す。