[논문 리뷰] Creating and Querying Personalized Versions of Wikidata on a Laptop

Hans Chalupsky, Pedro Szekely외 3명|arXiv (Cornell University)|2021. 08. 06.

Semantic Web and Ontologies참고 문헌 4인용 수 6

한 줄 요약

이 논문은 KGTK 툴킷 내부의 경량 쿼리 언어 및 프로세서인 Kypher를 소개한다. Kypher를 통해 사용자는 표준 랩탑에서 개인화된, 쿼리 가능한 형태의 Wikidata를 생성할 수 있다. 압축된 테이블 기반 KGTK 데이터 모델과 최적화된 SQLite 저장 방식을 활용함으로써, Kypher는 공개 SPARQL 엔드포인트보다 복잡하고 대규모 지식 그래프 쿼리를 최대 10배 빠르게 실행할 수 있으며, 고성능 인프라 없이도 Wikidata의 고급 분석을 가능하게 한다.

ABSTRACT

Application developers today have three choices for exploiting the knowledge present in Wikidata: they can download the Wikidata dumps in JSON or RDF format, they can use the Wikidata API to get data about individual entities, or they can use the Wikidata SPARQL endpoint. None of these methods can support complex, yet common, query use cases, such as retrieval of large amounts of data or aggregations over large fractions of Wikidata. This paper introduces KGTK Kypher, a query language and processor that allows users to create personalized variants of Wikidata on a laptop. We present several use cases that illustrate the types of analyses that Kypher enables users to run on the full Wikidata KG on a laptop, combining data from external resources such as DBpedia. The Kypher queries for these use cases run much faster on a laptop than the equivalent SPARQL queries on a Wikidata clone running on a powerful server with 24h time-out limits.

연구 동기 및 목표

• 기존의 Wikidata 접근 방식(5분 타임아웃이 있는 SPARQL 엔드포인트 또는 대규모 서버 기반 RDF 로드)의 한계를 해결하기 위해 복잡하고 대규모 쿼리를 수행할 수 있도록 하는 것.
• 연구자 및 개발자가 고성능 서버나 클라우드 인프라 없이도 개인 랩탑에서 자원 집약적인 지식 그래프 분석을 수행할 수 있도록 하는 것.
• DBpedia와 같은 외부 데이터셋을 통합함으로써 사용자가 맞춤형으로 확장된 지식 그래프를 생성할 수 있도록 하여 Wikidata에 대한 접근을 민주화하는 것.
• Kypher가 공개 SPARQL 엔드포인트보다도 분석 워크로드에서 쿼리 성능 면에서 뛰어나다는 것을 입증하는 것, 심지어 보통 하드웨어에서도 성능이 뛰어나게 한다.

제안 방법

• RDF에 비해 데이터 팽창을 줄이기 위해, 헤드, 엣지 레이블, 테일, 엣지 ID로 구성된 탭으로 구분된 엣지 형식을 사용해 Wikidata를 KGTK 지식 그래프로 표현하는 것.
• KGTK의 임포트 및 변환 파이프라인을 사용해 Wikidata와 DBpedia 데이터를 로컬 SQLite 데이터베이스에 로드하여 효율적인 쿼리 가능성을 확보하는 것.
• KGTK의 초관계형 모델에 맞게 조정된 Cypher의 하위 집합으로 Kypher를 구현하여, 대규모 그래프 서브셋에 대한 패턴 매칭과 집계를 지원하는 것.
• 압축된 저장 방식(718GB 대비 142GB), 집중된 인덱싱, 업데이트 오버헤드가 없는 읽기 전용 실행 방식을 통해 쿼리 성능을 최적화하는 것.
• Jupyter 노트북을 사용해 Kypher 쿼리를 실행하고 벤치마킹하며, 반복 실행을 가속화하기 위해 사전 구축된 인덱스를 활용하는 것.
• 통제된 조건에서 랩탑에서의 Kypher 성능을 로컬 Wikidata 클론과 공개 Wikidata SPARQL 엔드포인트의 SPARQL 쿼리 성능과 비교하는 것.

실험 결과

연구 질문

• RQ1 Kypher는 공개 SPARQL 엔드포인트의 5분 타임아웃을 초과하는 복잡하고 대규모 쿼리를 Wikidata에서 수행할 수 있는가?
• RQ2 DBpedia와 같은 외부 자료를 통합한 개인화되고 확장된 지식 그래프를 랩탑에서 효율적으로 생성하고 쿼리할 수 있는가?
• RQ3 전체 Wikidata 서브셋에 대한 분석 쿼리를 실행할 때 Kypher의 성능은 SPARQL 엔드포인트와 비교해 어떻게 되는가?
• RQ4 KGTK와 Kypher의 아키텍처적 선택이 저자원 하드웨어에서 뛰어난 성능을 내는 데 기여하는 요소는 무엇인가?

주요 결과

• Kypher는 32GB 랩탑에서 전체 Wikidata에 대한 복잡한 쿼리를 2시간 이내로 완료했으며, 동일한 쿼리가 24시간 서버에서 실행될 경우 타임아웃이 발생해 완료되지 않았다.
• Jupyter 노트북에서 Kypher를 처음 실행할 경우 349분(5.8시간)이 걸렸지만, 사전 로드된 데이터와 인덱스를 사용한 두 번째 실행은 단 164분(2.7시간)으로 줄어들어 초기 설정 후 성능 향상이 뚜렷하게 나타났다.
• 동일한 쿼리에 대해 Kypher는 공개 Wikidata SPARQL 엔드포인트 대비 5배 빠른 성능을 기록했으며, 일부 워크로드는 랩탑에서 몇 분 내로 완료되었고, 서버에서는 수 시간이 소요되었다.
• 압축된 KGTK 데이터 모델 덕분에 저장 용량이 SPARQL의 718GB에서 Kypher의 142GB로 감소하여 I/O 지역성과 캐시 효율성이 향상되었다.
• P279star와 같은 그래프 슬라이스에 특화된 인덱싱이 일반 트리플 스토어보다 더 빠른 재사용과 더 효율적인 쿼리 실행을 가능하게 했다.
• Kypher의 읽기 전용 설계로 인해 트랜잭션 업데이트 오버헤드가 제거되어 분석 워크로드에 대해 일반적인 SPARQL 엔드포인트보다 더 빠른 성능을 보였다.