[논문 리뷰] CrowdGather: Entity Extraction over Structured Domains

Theodoros Rekatsinas, Amol Deshpande외 1명|arXiv (Cornell University)|2015. 02. 24.

Mobile Crowdsensing and Crowdsourcing참고 문헌 36인용 수 3

한 줄 요약

CrowdGather는 구조적 도메인에서 계층적 속성 쿼리를 활용하여 커버리지 향상과 비용 절감을 동시에 달성하는 적응형, 예산 인지 프레임워크를 제안한다. 통계적 이득 추정과 쿼리 겹침 분석을 통해 고가치 쿼리를 동적으로 선택함으로써, 동일한 예산 하에 기존 기준 대비 최대 4배 높은 엔티티 수확을 달성한다.

ABSTRACT

Crowdsourced entity extraction is often used to acquire data for many applications, including recommendation systems, construction of aggregated listings and directories, and knowledge base construction. Current solutions focus on entity extraction using a single query, e.g., only using "give me another restaurant", when assembling a list of all restaurants. Due to the cost of human labor, solutions that focus on a single query can be highly impractical. In this paper, we leverage the fact that entity extraction often focuses on {\em structured domains}, i.e., domains that are described by a collection of attributes, each potentially exhibiting hierarchical structure. Given such a domain, we enable a richer space of queries, e.g., "give me another Moroccan restaurant in Manhattan that does takeout". Naturally, enabling a richer space of queries comes with a host of issues, especially since many queries return empty answers. We develop new statistical tools that enable us to reason about the gain of issuing {\em additional queries} given little to no information, and show how we can exploit the overlaps across the results of queries for different points of the data domain to obtain accurate estimates of the gain. We cast the problem of {\em budgeted entity extraction} over large domains as an adaptive optimization problem that seeks to maximize the number of extracted entities, while minimizing the overall extraction costs. We evaluate our techniques with experiments on both synthetic and real-world datasets, demonstrating a yield of up to 4X over competing approaches for the same budget.

연구 동기 및 목표

• 대규모이고 다양한 도메인에서 단일 쿼리 기반 커뮤니티 기반 엔티티 추출의 높은 비용과 낮은 커버리지 문제를 해결하기 위해.
• 계층적 속성을 가진 구조적 도메인에서의 적응형 쿼리 수행을 통해 희귀하거나 인기 없는 엔티티의 탐색을 향상시키기 위해.
• 고정된 금전적 예산 내에서 유일한 엔티티 수를 최대화하기 위해.
• 사전 정보가 거의 없는 상황에서 추가 쿼리를 발행할 경우 기대 이득을 추정할 수 있는 통계 기법을 개발하기 위해.
• 쿼리 결과 간 구조적 겹침을 활용하여 희소 도메인에서 비용 효율적인 쿼리 선택을 이끌어내기 위해.

제안 방법

• 각 노드가 속성 값 조합으로 이루어진 쿼리를 나타내는 부분 순서 집합(포세트)으로 구조적 도메인을 모델링한다.
• 초기 결과가 희소한 상황에서 추가 쿼리를 발행할 경우의 기대 이득을 추정하기 위해 회귀 기반 방법을 도입한다.
• 쿼리 결과 겹침을 활용해 잠재적 이득을 추론하고 포세트 전역에서 적응형 쿼리 선택을 이끌어낸다.
• 예산 제약 조건 하에서 탐색(새로운 쿼리)과 활용(고성능 쿼리 반복)의 균형을 이루는 적응형 최적화 알고리즘을 적용한다.
• 모집단 크기 정보가 없는 상태에서 새로운 엔티티를 발견할 가능성에 대해 추론할 수 있는 통계 도구를 활용한다.
• 예를 들어 요리 종류, 위치, 테이크아웃 여부 등 알려진 계층적 속성을 활용해 타겟팅되고 다양한 쿼리를 생성한다.

실험 결과

연구 질문

• RQ1 초기 결과가 희소한 상황에서 어떻게 효율적으로 대규모 구조적 데이터 도메인을 커뮤니티 기반으로 탐색하면서 비용을 최소화할 수 있는가?
• RQ2 초기 결과가 희소할 경우 추가 쿼리 발행의 기대 이득을 추정할 수 있는 통계 기법은 무엇인가?
• RQ3 쿼리 결과 간 겹침을 어떻게 활용하여 희소 도메인에서 비용 효율적인 적응형 쿼리 선택을 이끌 수 있는가?
• RQ4 구조적 도메인에서의 적응형 쿼리 선택 전략은 고정 쿼리 전략 대비 엔티티 수확량과 비용 효율성 측면에서 어떻게 비교되는가?
• RQ5 제한된 예산과 부분적인 정보만으로도 거의 전지적 성능에 가까운 엔티티 추출을 달성할 수 있는가?

주요 결과

• CrowdGather는 동일한 예산 하에 기존 기준 대비 최대 4배 높은 엔티티 수확을 달성한다.
• 프레임워크는 인기 있는 엔티티에 대한 낭비되는 쿼리를 동적으로 줄이며, 포세트 내에서 덜 탐색된 고잠재력 쿼리 영역으로 초점을 이동시켜 성과를 향상시킨다.
• 대규모 희소 도메인에서 CrowdGather의 성능은 완벽한 정보를 가진 전지적 전략과 비교해 25% 이내에 머무른다.
• 회귀 기반 이득 추정 기법은 최소한의 초깃 데이터만으로도 쿼리의 유용성을 효과적으로 예측한다.
• 쿼리 간 구조적 겹침을 활용하면 쿼리 선택의 효율성이 크게 향상되고 중복 노동이 감소한다.
• 합성 및 실세계 데이터셋을 모두 대상으로 적응형 전략은 커버리지와 비용 효율성 측면에서 고정 쿼리 및 단일 쿼리 전략을 모두 능가한다.