[논문 리뷰] On the Impact of Random Index-Partitioning on Index Compression

Moran Feldman, Ronny Lempel외 2명|arXiv (Cornell University)|2011. 07. 28.

Algorithms and Data Compression참고 문헌 20인용 수 3

한 줄 요약

이 논문은 서버 간 무작위 인덱스 분할이 역색인 압축에서 문서 재정렬 기법의 효과성에 미치는 영향을 조사한다. 무작위 순서에서 이러한 분할은 인덱스 크기를 로그적으로 감소시키지만, 어휘 URL 정렬 및 TSP 기반 클러스터링과 같은 고급 순서 정렬 기법의 압축 이득을 떨어뜨리며, 이로 인해 분산 쿼리 처리 시간이 크게 향상됨에도 불구하고 인덱스 압축 성능이 열 劣화됨에도 불구하고 무작위 분포가 유리해진다.

ABSTRACT

The performance of processing search queries depends heavily on the stored index size. Accordingly, considerable research efforts have been devoted to the development of efficient compression techniques for inverted indexes. Roughly, index compression relies on two factors: the ordering of the indexed documents, which strives to position similar documents in proximity, and the encoding of the inverted lists that result from the ordered stream of documents. Large commercial search engines index tens of billions of pages of the ever growing Web. The sheer size of their indexes dictates the distribution of documents among thousands of servers in a scheme called local index-partitioning, such that each server indexes only several millions pages. Due to engineering and runtime performance considerations, random distribution of documents to servers is common. However, random index-partitioning among many servers adversely impacts the resulting index sizes, as it decreases the effectiveness of document ordering schemes. We study the impact of random index-partitioning on document ordering schemes. We show that index-partitioning decreases the aggregated size of the inverted lists logarithmically with the number of servers, when documents within each server are randomly reordered. On the other hand, the aggregated partitioned index size increases logarithmically with the number of servers, when state-of-the-art document ordering schemes, such as lexical URL sorting and clustering with TSP, are applied. Finally, we justify the common practice of randomly distributing documents to servers, as we qualitatively show that despite its ill-effects on the ensuing compression, it decreases key factors in distributed query evaluation time by an order of magnitude as compared with partitioning techniques that compress better.

연구 동기 및 목표

• 무작위 인덱스 분할이 역색인의 문서 재정렬 기법의 압축 효과성에 미치는 영향을 평가하는 것.
• 분산 검색 시스템에서 인덱스 크기 감소와 쿼리 처리 시간 간의 트레이드오프를 정량화하는 것.
• 최신 문서 순서 정렬 휴리스틱(예: 어휘 URL 정렬, TSP 기반 클러스터링)이 수천 대의 서버에 걸쳐 무작위 분할 조건에서도 여전히 효과적인지 평가하는 것.
• 압축 성능에 악영향을 주지만 분산 쿼리 처리 시간을 크게 줄이는 무작위 문서 분포 방식이 산업적으로 널리 쓰이는 이유를 설명하는 것.

제안 방법

• 연구는 2500만 페이지의 TREC .gov2 코퍼스를 사용하여 서버 수(m)에 따라 다양하게 분할된 인덱스를 시뮬레이션하며, 문서는 무작위로 서버에 할당된다.
• 다양한 문서 재정렬 전략(무작위 할당, 어휘 URL 정렬, TSP 기반 클러스터링)을 평가하고, 이를 통해 압축된 역색인 리스트 크기를 측정한다.
• 포스트링 리스트를 압축하기 위해 dGap 인코딩(예: 델타 인코딩)을 적용하고, 서버 수에 따른 총 인덱스 크기를 측정한다.
• 공간에 공을 던지는 모델을 사용하여 쿼리 처리 시간을 모델링하며, 포스트링을 공으로, 서버를 용기로 간주하고, 각 서버의 최대 로드에 대한 확률적 경계를 유도한다.
• 무작위 분할 조건 하에서 논리합 및 논리곱 쿼리의 기대 최대 로드(즉, 쿼리 처리 시간)를 분석하기 위해 체르노프 경계를 사용한다.
• 이론적 경계를 실제 TREC 쿼리 워크로드에 대한 실측 측정치와 비교하여 모델의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 고급 문서 재정렬 기법을 사용할 경우, 무작위 인덱스 분할이 압축된 역색인 크기에 어떤 영향을 미치는가?
• RQ2 무작위 분할이 어휘 URL 정렬 및 TSP 기반 클러스터링의 압축 이점에 얼마나 큰 영향을 미치는가?
• RQ3 무작위 분할 대비 URL 기반 문서 분할 조건에서 인덱스 크기와 쿼리 처리 시간 간의 트레이드오프는 어떠한가?
• RQ4 서버 수가 분할된 인덱스에서 효과적인 순서 정렬과 무작위 순서 정렬 간 성능 격차에 어떤 영향을 미치는가?
• RQ5 무작위 분할이 쿼리 처리 시간을 줄이는 데 나타나는 관측된 이점이 압축 효율성 저하에 비해 상쇄될 수 있는가?

주요 결과

• 문서 ID가 무작위로 할당된 경우, 무작위 인덱스 분할은 압축된 역색인 리스트의 집계 크기를 서버 수에 따라 로그적으로 감소시킨다.
• 반면, 최신 순서 정렬 기법(예: 어휘 URL 정렬, TSP 클러스터링)을 적용할 경우, 분할된 컬렉션에서 국소성 감소로 인해 집계 인덱스 크기가 서버 수에 따라 로그적으로 증가한다.
• 압축 효율성이 떨어지더라도, 무작위 문서 분할은 URL 기반 분할 방식 대비 서버당 최대 로드(쿼리 처리 시간의 대체 지표)를 한 계단 감소시킨다.
• 무작위 분할 조건에서 쿼리 처리 시간의 성능 향상은 공간에 공을 던지는 모델과 실측 측정치를 통해 확인된 바와 같이, 서버 간 로드 밸런싱 향상 덕분이다.
• 연구 결과, 동일한 웹 호스트 기반으로 문서를 클러스터링하는 것이 가장 큰 압축 이득을 제공하며, 호스트 내에서의 추가 어휘 URL 정렬은 오직 미미한 향상만을 가져온다.
• 결과적으로 글로벌 텀 분할(즉, 문서가 아닌 텀 기반 분할)이 현재의 무작위 문서 분할 방식보다 인덱스 크기 측면에서 더 우수할 것으로 보이지만, 이는 쿼리 조율 오버헤드 증가를 수반한다.