[논문 리뷰] RDF-Hunter: Automatically Crowdsourcing the Execution of Queries Against RDF Data Sets

Maribel Acosta, Elena Simperl외 3명|arXiv (Cornell University)|2015. 03. 10.

Mobile Crowdsensing and Crowdsourcing참고 문헌 10인용 수 5

한 줄 요약

RDF-Hunter는 누락된 RDF 데이터 값으로 인해 결과가 부족해질 가능성이 있는 쿼리의 일부를 자동으로 식별하고, 미세 작업 형식의 커뮤니티 기반 작업을 통해 결과의 완전성을 향상시키는 하이브리드 SPARQL 쿼리 엔진이다. 질적 모델을 기반으로 커뮤니티의 신뢰도와 익숙함을 평가하여 하이브리드 쿼리 실행 전략을 동적으로 라우팅함으로써 높은 정확도(우도 측정값 0.84–0.96)를 달성한다.

ABSTRACT

In the last years, a large number of RDF data sets has become available on the Web. However, due to the semi-structured nature of RDF data, missing values affect answer completeness of queries that are posed against this data. To overcome this limitation, we propose RDF-Hunter, a novel hybrid query processing approach that brings together machine and human computation to execute queries against RDF data. We develop a novel quality model and query engine in order to enable RDF-Hunter to on the fly decide which parts of a query should be executed through conventional technology or crowd computing. To evaluate RDF-Hunter, we created a collection of 50 SPARQL queries against the DBpedia data set, executed them using our hybrid query engine, and analyzed the accuracy of the outcomes obtained from the crowd. The experiments clearly show that the overall approach is feasible and produces query results that reliably and significantly enhance completeness of automatic query processing responses.

연구 동기 및 목표

• 연결된 개방형 데이터에서 누락된 값으로 인해 발생하는 RDF 데이터셋의 쿼리 결과가 불완전해지는 문제를 해결하기 위해.
• SPARQL 쿼리의 어떤 부분을 인간 계산을 통해 실행할 것인지 자동으로 결정할 수 있는 시스템을 설계하기 위해.
• RDF 데이터의 완전성 정도를 추정하고 하이브리드 쿼리 실행을 이끌어내는 질적 모델을 개발하기 위해.
• 실세계 RDF 워크로드에서 인간-컴퓨터 하이브리드 쿼리 처리의 타당성과 효과성을 평가하기 위해.
• DBpedia를 대상으로 50개의 SPARQL 쿼리로 구성된 벤치마크를 구축하여 커뮤니티 기반 결과의 완전성과 정확도를 평가하기 위해.

제안 방법

• 시스템은 작업자 신뢰도와 주제 익숙함을 조합한 질적 모델을 사용하여 커뮤니티 기반 답변의 신뢰성을 추정한다.
• RDF 데이터의 품질 및 구조적 분석을 기반으로 누락된 값으로 인해 영향을 받을 가능성이 높은 하위쿼리들을 식별하기 위해 동적 쿼리 분해를 수행한다.
• 자동화된 SPARQL 엔드포인트와 커뮤니티 기반 미세 작업의 결과를 통합하며, 커뮤니티 답변의 가중치로 소속도 정도(m)를 사용한다.
• 커뮤니티 작업은 CrowdFlower 플랫폼을 통해 생성되며, 작업자 전문성 평가를 위한 익숙함과 신뢰도 질문을 포함한다.
• 추정된 완전성, 비용, 정확도를 바탕으로 최적의 실행 전략을 선택하는 물리적 쿼리 플래너를 활용한다.
• 다섯 가지 지식 영역(Life Sciences, History, Music, Sports, Movies)에서 재현율과 정밀도를 분석하기 위해 히트맵 기반 평가를 수행한다.

실험 결과

연구 질문

• RQ1 하이브리드 시스템은 RDF 데이터셋에서 누락된 데이터로 인해 영향을 받는 SPARQL 쿼리의 일부를 자동으로 식별할 수 있는가?
• RQ2 실세계 RDF 데이터에 대해 미세 작업 형식의 커뮤니티 기반 작업이 SPARQL 쿼리 결과의 완전성을 얼마나 효과적으로 향상시킬 수 있는가?
• RQ3 신뢰도와 익숙함과 같은 품질 지표는 하위쿼리를 인간 계산에 라우팅하는 데 얼마나 신뢰성 있게 안내할 수 있는가?
• RQ4 시스템의 동적 쿼리 분해 기법은 SPARQL 확장 기능 없이도 결과의 완전성을 얼마나 향상시킬 수 있는가?
• RQ5 다양한 지식 영역에서 커뮤니티 기반 결과의 정밀도와 재현율은 어떻게 비교되는가?

주요 결과

• RDF-Hunter는 모든 50개의 벤치마크 쿼리에서 우도 측정값 0.84에서 0.96 사이의 성능을 기록하여 하이브리드 쿼리 처리의 높은 정확도를 입증했다.
• 41개의 쿼리 중 50개에서 커뮤니티가 완전한 재현율(1.0)을 달성하여 누락된 값을 효과적으로 복구할 수 있는 능력을 보였다.
• 21개의 쿼리에서 정밀도와 재현율이 모두 1.0에 도달하여, 커뮤니티가 40퍼센트 이상의 경우에서 완전히 정확한 답변을 제공했음을 나타냈다.
• 평균 커뮤니티 신뢰도는 높았으며(0.92–0.95), 표준편차는 약 0.07로, 다양한 영역에서 일관된 신뢰성을 보였다.
• 익숙함 점수는 Sports와 Movies가 가장 높은 익숙함을 보였고, Life Sciences는 낮은 익숙함을 보여, 커뮤니티 답변의 소속도 정도(m)에 영향을 주었다.
• 시스템은 Music Query 2와 Movies Query 4와 같은 낮은 전문성 수준의 술어에 대해 재커뮤니티 작업을 피하는 등 지능적인 작업 라우팅을 성공적으로 수행했다.