[논문 리뷰] Features and Aggregators for Web-scale Entity Search

Uma Sawant, Soumen Chakrabarti|arXiv (Cornell University)|2013. 03. 13.

Topic Modeling참고 문헌 29인용 수 3

한 줄 요약

이 논문은 웹 스케일 엔티티 검색을 위한 통합적이고 학습 가능한 프레임워크를 제안하며, 조건부 학습을 통해 스니펫 수준의 점수 부여와 엔티티 수준의 집계를 동시에 최적화한다. 쿼리어휘의 난이도(역문서빈도를 통한 퍼플렉서티)와 엔티티 언급까지의 어휘적 근접도를 위한 통합된 특징 인코딩을 도입하고, 엔티티 수준의 관련성에 직접적으로 학습함으로써, 대규모이고 노이즈가 많은 웹 데이터셋에서 기존 시스템 대비 MAP에서 8% 향상되었으며, TREC에서도 최신 기술 수준에 맞추거나 이를 초월하는 성능을 달성하였다.

ABSTRACT

We focus on two research issues in entity search: scoring a document or snippet that potentially supports a candidate entity, and aggregating scores from different snippets into an entity score. Proximity scoring has been studied in IR outside the scope of entity search. However, aggregation has been hardwired except in a few cases where probabilistic language models are used. We instead explore simple, robust, discriminative ranking algorithms, with informative snippet features and broad families of aggregation functions. Our first contribution is a study of proximity-cognizant snippet features. In contrast with prior work which uses hardwired "proximity kernels" that implement a fixed decay with distance, we present a "universal" feature encoding which jointly expresses the perplexity (informativeness) of a query term match and the proximity of the match to the entity mention. Our second contribution is a study of aggregation functions. Rather than train the ranking algorithm on snippets and then aggregate scores, we directly train on entities such that the ranking algorithm takes into account the aggregation function being used. Our third contribution is an extensive Web-scale evaluation of the above algorithms on two data sets having quite different properties and behavior. The first one is the W3C dataset used in TREC-scale enterprise search, with pre-annotated entity mentions. The second is a Web-scale open-domain entity search dataset consisting of 500 million Web pages, which contain about 8 billion token spans annotated automatically with two million entities from 200,000 entity types in Wikipedia. On the TREC dataset, the performance of our system is comparable to the currently prevalent systems. On the much larger and noisier Web dataset, our system delivers significantly better performance than all other systems, with 8% MAP improvement over the closest competitor.

연구 동기 및 목표

• 스니펫 수준의 점수 부여와 엔티티 수준의 증거 집계를 위한 통합적이고 학습 가능한 접근 방식의 부족을 해결하기 위해.
• 스니펫 수준의 관련성 대신 엔티티 수준의 관련성에 직접 최적화하는 강력하고 조건부 학습 기반의 프레임워크를 개발하기 위해.
• 다양한 데이터셋, 특히 대규모 웹 데이터셋과 TREC 엔터프라이즈 검색 데이터셋에서 프레임워크를 평가하기 위해.
• 다양한 집계 함수와 특징 설계가 엔티티 랭킹 성능에 미치는 영향을 조사하기 위해.
• 5억 개의 웹 페이지와 200만 개의 엔티티를 포함한 환경에서 시스템의 확장성과 효과성을 입증하기 위해.

제안 방법

• 쿼리어휘의 퍼플렉서티(역문서빈도를 통한)와 엔티티 언급까지의 어휘적 근접도를 동시에 모델링하는 통합된 특징 인코딩을 제안하며, 고정된 근접도 커널을 대체한다.
• 엔티티 수준의 관련성 판단에 직접적으로 학습하는 파airwise 랭킹 손실 함수를 도입하며, 다양한 집계 함수를 학습 과정의 일부로 통합한다.
• 합계(sum), 평균(mean), 소프트 컷오프(soft cutoff), 소프트맥스(SoftMax) 등의 집계 함수 가족을 학습 가능한 구성 요소로 간주하여 프레임워크 내에서 통합한다.
• 생성 모델에 의존하지 않는 조건부 학습-랭킹(L2R) 기반의 최대 마진 또는 조건부 확률 공식을 사용한다.
• 비대칭적이거나 랭킹 기반의 컷오프가 노이즈가 많은 데이터에서 성능을 떨어뜨리는 것을 방지하기 위해, 컨텍스트 점수에 대해 대칭적 집계(예: 합계)를 적용한다.
• 오프라인에서 엔티티 주석 및 컨텍스트 점수를 사전에 처리함으로써, 대규모 웹 데이터에서 효율적인 쿼리 시간 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 퍼플렉서티와 근접도를 통합한 통합적이고 학습 가능한 특징 표현이 고정된 근접도 커널보다 엔티티 검색에서 더 나은 성능을 내는가?
• RQ2 스니펫 수준의 학습에 비해 엔티티 수준의 관련성 판단에 직접 종단간(end-to-end) 학습을 수행할 경우 성능 향상이 이루어지는가?
• RQ3 합계, 평균, 소프트 컷오프 등의 다양한 집계 함수가 다양한 데이터셋에서 엔티티 랭킹 성능에 어떤 영향을 미치는가?
• RQ4 비대칭적이거나 랭킹 기반의 컷오프보다 대칭적 집계(예: 합계)가 노이즈가 많은 대규모 웹 환경에서 더 견고한가?
• RQ5 컨텍스트 수 |S_e|와 같은 특징이 다양한 데이터 분포에서 성능에 얼마나 기여하는가?

주요 결과

• 5억 개의 웹 페이지와 200만 개의 엔티티를 포함한 대규모이고 노이즈가 많은 웹 데이터셋에서, 제안된 시스템은 가장 가까운 경쟁자 대비 평균 정밀도(MAP)에서 8% 향상된 성능을 기록하였다.
• TREC 데이터셋에서, Balog 등과 MacDonald 등의 최신 기술 수준 시스템과 유사한 성능을 보였으며, MRR 및 NDCG를 포함한 모든 메트릭에서 경쟁력 있는 결과를 달성하였다.
• 직접 퍼플렉서티와 근접도를 모두 포함하는 직사각형 기반 특징 인코딩이, 근접도 커널과 확률적 언어 모델을 조합한 것보다 우수한 성능을 보였다.
• 합계 집계 함수는 두 데이터셋에서 평균, 소프트 컷오프, SoftOr, SoftMax를 모두 초월하여 일관되게 뛰어난 성능을 보였다. 이는 증거를 정규화하기보다는 합산하는 것이 바람직하다는 것을 시사한다.
• 랭킹 기반 또는 비대칭 컷오프는 웹 데이터셋에서 성능을 떨어뜨렸으며, 이는 대칭적 집계가 노이즈가 많은 환경에서 더 견고하다는 것을 시사한다.
• |S_e|(지원 컨텍스트 수) 특징은 TREC에서는 유용했지만 웹 데이터셋에서는 유용하지 않았으며, 이는 특징의 유용성이 데이터셋에 따라 달라질 수 있음을 시사한다.