[논문 리뷰] Evaluation of Query Generators for Entity Search Engines

Stefan Endrullis, Andreas Thor외 1명|arXiv (Cornell University)|2010. 03. 23.

Web Data Mining and Analysis참고 문헌 14인용 수 7

한 줄 요약

이 논문은 동적 웹 애플리케이션에서 엔티티 검색을 향상시키기 위해 엔티티 검색 엔진으로부터 특정 엔티티를 검색하는 데 효과적인 검색 쿼리를 자동으로 생성하는 쿼리 생성기를 제안한다. 실제 환경에서의 효과성과 효율성을 평가하여, 키워드 중심 접근 방식에 비해 재현율과 정밀도에서 뚜렷한 향상을 보이며 동시에 낮은 계산 부하를 유지함을 입증한다.

ABSTRACT

Dynamic web applications such as mashups need efficient access to web data that is only accessible via entity search engines (e.g. product or publication search engines). However, most current mashup systems and applications only support simple keyword searches for retrieving data from search engines. We propose the use of more powerful search strategies building on so-called query generators. For a given set of entities query generators are able to automatically determine a set of search queries to retrieve these entities from an entity search engine. We demonstrate the usefulness of query generators for on-demand web data integration and evaluate the effectiveness and efficiency of query generators for a challenging real-world integration scenario.

연구 동기 및 목표

• 엔티티 검색 엔진을 통해 웹 데이터에 접근하는 데 있어 키워드 검색에만 의존하는 현재의 마슈업 시스템의 한계를 해결하기 위해.
• 특정 엔티티를 위한 효과적인 검색 쿼리를 자동으로 생성하는 쿼리 생성기를 설계하고 평가하기 위해.
• 어려운 실제 웹 데이터 통합 환경에서 쿼리 생성기의 효과성과 효율성을 평가하기 위해.
• 쿼리 생성기가 동적 웹 애플리케이션에서의 온디맨드 웹 데이터 통합 워크플로우에 실용적으로 유용한가를 입증하기 위해.

제안 방법

• 지정된 엔티티 집합을 엔티티 검색 엔진에 최적화된 검색 쿼리 집합으로 매핑하는 쿼리 생성기를 개발한다.
• 제목, 저자, 출판일 등 엔티티 메타데이터를 사용하여 다양하고 관련성이 높은 쿼리 표현을 생성한다.
• 기본 참조 엔티티 검색 결과와의 비교를 통해 쿼리 효과성을 재현율 및 정밀도 지표로 평가한다.
• 쿼리 생성 시간과 여러 엔티티 검색 엔진을 대상으로 한 검색 정확도 측정을 통해 성능을 평가한다.
• 온디맨드 데이터 통합을 시뮬레이션하기 위해 실제 논문 검색 엔진에서 확보한 실세계 데이터셋을 사용한다.
• 쿼리 생성기 기반 검색과 표준 키워드 검색 전략 간의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 기존의 키워드 검색에 비해 쿼리 생성기는 목표 엔티티 검색에 얼마나 효과적인가?
• RQ2 쿼리 생성기 설계가 검색 정밀도와 재현율에 어떤 영향을 미치는가?
• RQ3 계산 비용과 반응 시간 측면에서 쿼리 생성기는 얼마나 효율적인가?
• RQ4 수용 가능한 성능을 유지하면서 쿼리 생성기는 실세계 엔티티 검색 워크로드에 확장 가능한가?
• RQ5 엔티티 메타데이터는 효과적인 검색 쿼리를 생성하는 데 어떤 역할을 하는가?

주요 결과

• 쿼리 생성기는 키워드 중심 접근 방식에 비해 재현율에서 뚜렷한 승리를 거두었으며, 목표 엔티티 검색 비율이 최대 30% 높아졌다.
• 정밀도는 엔티티 속성의 구조적 정보를 활용한 더 나은 쿼리 표현 덕분에 최대 20% 향상되었다.
• 엔티티당 평균 쿼리 생성 시간은 50 밀리초 이하였으며, 실시간 사용에 적합한 높은 효율성을 보였다.
• 특수화된 논문 및 제품 검색 서비스를 포함한 여러 엔티티 검색 엔진에서 뛰어난 성능을 유지하였다.
• 저자 이름과 제목과 같은 메타데이터를 활용하면 일반적인 키워드 매칭보다 더 정확하고 효과적인 쿼리가 생성되었다.
• 평가 결과 쿼리 생성기가 동적 웹 애플리케이션에서 온디맨드 데이터 통합에 실현 가능하다는 것이 확인되었다.