[논문 리뷰] Fast, Incremental Inverted Indexing in Main Memory for Web-Scale Collections

Nima Asadi, Jimmy Lin|arXiv (Cornell University)|2013. 05. 03.

Algorithms and Data Compression참고 문헌 30인용 수 4

한 줄 요약

이 논문은 웹 스케일 컬렉션을 위한 메인 메모리에서 직접 압축된 포스팅 리스트를 생성하는 빠르고 인크리멘탈인 역색인 알고리즘을 제안한다. 연속된 리스트의 성능과 통계적으로 구분되지 않는 성능을 달성하기 위해 비연속적인 리스트 세그먼트의 소규모 그룹을 함께 위치시키는 것이 가능하다는 것을 보여주며, 이는 온라인 색인에서 최소한의 복잡성으로도 높은 검색 속도를 달성할 수 있음을 의미한다.

ABSTRACT

For text retrieval systems, the assumption that all data structures reside in main memory is increasingly common. In this context, we present a novel incremental inverted indexing algorithm for web-scale collections that directly constructs compressed postings lists in memory. Designing efficient in-memory algorithms requires understanding modern processor architectures and memory hierarchies: in this paper, we explore the issue of postings lists contiguity. Naturally, postings lists that occupy contiguous memory regions are preferred for retrieval, but maintaining contiguity increases complexity and slows indexing. On the other hand, allowing discontiguous index segments simplifies index construction but decreases retrieval performance. Understanding this tradeoff is our main contribution: We find that co-locating small groups of inverted list segments yields query evaluation performance that is statistically indistinguishable from fully-contiguous postings lists. In other words, it is not necessary to lay out in-memory data structures such that all postings for a term are contiguous; we can achieve ideal performance with a relatively small amount of effort.

연구 동기 및 목표

• 웹 스케일 텍스트 컬렉션을 위한 완전히 메인 메모리에서 작동하는 효율적이고 인크리멘탈인 역색인 알고리즘을 설계하는 것.
• 쿼리 평가 속도를 높이기 위한 포스팅 리스트의 연속성과 색인 구축 속도를 높이기 위한 색인 복잡성 사이의 성능 트레이드오프를 조사하는 것.
• 메인 메모리 시스템에서 높은 검색 성능을 위해 포스팅 리스트의 완전한 연속성을 유지하는 것이 필수적인지 확인하는 것.
• 온라인 환경에서 색인 속도, 메모리 사용량, 쿼리 평가 효율성 간의 균형을 이루는 실용적인 최적화 방법을 탐색하는 것.

제안 방법

• 포스팅 리스트 세그먼트를 일시적으로 메모리에 저장하기 위한 버퍼링 메커니즘을 사용하여, 이후 이를 압축된 연속 블록으로 통합한다.
• 정수로 인코딩된 포스팅 리스트의 효율적 저장을 위해 PForDelta 압축을 적용하여 메모리 점유율을 감소시킨다.
• 캐시 국소성을 향상시키고 쿼리 평가 중 포인터 추적을 줄이기 위해 소규모 그룹의 역색인 리스트 세그먼트를 함께 위치시킨다.
• 사전 할당이나 복잡한 메모리 관리 기법을 피하기 위해 색인 완료 후 해제되는 일시적 버퍼 맵을 사용한다.
• 현대 프로세서의 캐시 계층과 프리패치 기법을 활용하여 비연속 메모리 접근으로 인한 성능 손실을 완화한다.
• 작업 메모리 오버헤드를 줄이기 위해 가변 길이 정수 인코딩과 간격 압축을 적용하여 텀 위치 및 기타 값에 대해 처리한다.

실험 결과

연구 질문

• RQ1 메인 메모리 정보 검색 시스템에서 포스팅 리스트의 연속성은 쿼리 평가 성능에 어느 정도의 영향을 미치는가?
• RQ2 완전한 연속성을 보장하지 않는 더 단순하고 빠른 색인 알고리즘이 완전히 연속적인 포스팅 리스트와 비교해도 유사한 검색 성능을 달성할 수 있는가?
• RQ3 비연속적인 리스트 세그먼트의 소규모 그룹을 함께 위치시키는 것이 캐시 효율성과 전체 쿼리 속도에 어떤 영향을 미치는가?
• RQ4 연속성 제약을 완화할 경우 색인 성능(구축 속도)과 검색 성능(쿼리 지연) 사이의 트레이드오프는 어떠한가?
• RQ5 일시적 버퍼링과 세그먼트 통합을 통해 최소한의 메모리 오버헤드와 복잡성으로도 거의 최적의 성능을 달성할 수 있는가?

주요 결과

• 비연속적인 역색인 리스트 세그먼트의 소규모 그룹을 함께 위치시키면, 완전히 연속적인 포스팅 리스트와 통계적으로 구분되지 않는 쿼리 평가 성능을 달성할 수 있다.
• 세그먼트를 효과적으로 그룹화할 경우 비연속 리스트의 성능 손실은 최소한이 되며, 이는 캐시 국소성 향상과 프리패치 동작 개선 덕분이다.
• 인크리멘탈 색인 중 완전한 연속성을 유지하는 것은 상당한 복잡성을 유발하고 색인 속도를 저하시키지만, 세그먼트 공유 위치 설정이 적용된 경우 검색 성능 향상은 측정 가능한 수준에서 발생하지 않는다.
• 제안된 버퍼링 기반 접근 방식은 메모리 블록화를 피하고 사전 할당이 필요 없어, 기존의 디스크 기반 인크리멘탈 알고리즘과는 달리 복잡성이 적다.
• 작업 메모리 오버헤드는 일시적이며 관리 가능하다—이 방법을 사용해 128GB의 RAM으로 5000만 개의 문서(클루이브09)를 색인하는 데 충분하다.
• 압축 표현 방식(예: 라이스 코드, 가변 길이 정수)의 사용은 버퍼 메모리 사용량을 줄이되, 색인 속도나 검색 품질에 손상 없이 처리할 수 있다.