[논문 리뷰] Graph-based keyword search in heterogeneous data sources

Mhd Yamen Haddad, Angelos‐Christos G. Anadiotis외 2명|arXiv (Cornell University)|2020. 09. 09.

Data Management and Algorithms참고 문헌 29인용 수 4

한 줄 요약

이 논문은 이질적 데이터 소스를 위한 그래프 기반 키워드 검색 알고리즘을 제안하며, 관계형, 텍스트, JSON, RDF 등의 다양한 데이터 유형을 양방향 엣지와 sameAs 링크를 사용해 통합된 그래프로 모델링한다. 이는 사용자가 스키마나 엣지 방향에 대한 사전 지식 없이도 데이터셋 간 연결을 탐색할 수 있도록 하며, 원본 출처의 기원을 유지하고 탄력적인 점수 계산을 지원함으로써, 기원 보존이 보장된 첫 번째 통합 이질적 키워드 검색 솔루션을 제공한다.

ABSTRACT

Data journalism is the field of investigative journalism which focuses on digital data by treating them as first-class citizens. Following the trends in human activity, which leaves strong digital traces, data journalism becomes increasingly important. However, as the number and the diversity of data sources increase, heterogeneous data models with different structure, or even no structure at all, need to be considered in query answering. Inspired by our collaboration with Le Monde, a leading French newspaper, we designed a novel query algorithm for exploiting such heterogeneous corpora through keyword search. We model our underlying data as graphs and, given a set of search terms, our algorithm nds links between them within and across the heterogeneous datasets included in the graph. We draw inspiration from prior work on keyword search in structured and unstructured data, which we extend with the data heterogeneity dimension, which makes the keyword search problem computationally harder. We implement our algorithm and we evaluate its performance using synthetic and real-world datasets.

연구 동기 및 목표

• 조사 보도를 위한 다양한 이질적 데이터 소스(관계형, 텍스트, JSON, RDF)를 통합적으로 쿼리하는 과제를 해결하기 위해.
• 사용자가 스키마나 엣지 방향을 알지 못해도 여러 데이터 모델 간 키워드 검색을 가능하게 하기 위해.
• 각 데이터 소스의 원본 노드 식별자를 유지하여 원본 기원을 보존하기 위해.
• 특정 점수 함수 성질을 가정하지 않음으로써 비전문가 사용자에게 중요한 탄력적인 점수 계산을 지원하기 위해.
• 이질적 데이터셋 간 키워드 간 의미 있는 연결을 찾을 수 있는 확장 가능한 알고리즘을 설계하기 위해.

제안 방법

• 모든 이질적 데이터 소스를 원본 노드 식별자와 출처 기원을 유지하면서 단일 통합 그래프로 모델링하기 위해.
• 양방향 엣지 탐색을 사용하여 원본 데이터 모델의 방향에 관계없이 엣지를 양방향으로 따라갈 수 있도록 하기 위해.
• 서로 다른 데이터 소스 간 의미적으로 동일한 엔티티를 연결하기 위해 sameAs 링크를 사용하며, 신뢰도 점수는 0에서 1 사이의 값을 가짐.
• 이전의 그래프 기반 키워드 검색에 영감을 받은 grow-and-merge 알고리즘을 개선하여, 양방향 탐색과 이질적 데이터에 적합하게 조정함.
• 신뢰도 점수를 통해 불확실한 엣지를 지원하여 결과 구성 시 확률적 추론을 가능하게 함.
• 점수 함수에 대한 가정을 피함으로써 실제 데이터 저널리즘 현장에서의 사용자 요구에 맞는 유연성을 유지함.

실험 결과

연구 질문

• RQ1 공통 스키마나 구조가 없는 이질적 데이터 소스 간에 효과적으로 키워드 검색을 수행하는 방법은 무엇인가?
• RQ2 여러 출처의 데이터를 단일 쿼리 가능한 그래프로 통합할 때 기원을 어떻게 보존할 수 있는가?
• RQ3 데이터 모델의 방향을 사전에 알지 못해도 엣지의 양방향 탐색을 가능하게 하는 알고리즘적 접근은 무엇인가?
• RQ4 sameAs 링크를 통해 제공되는 불확실한 엔티티 매칭을 어떻게 효과적으로 쿼리 결과 구성에 활용할 수 있는가?
• RQ5 특정 점수 함수 성질을 가정하지 않더라도 검색 알고리즘이 확장성과 효율성을 유지할 수 있는 방법은 무엇인가?

주요 결과

• 제안된 알고리즘은 원본 모델의 방향과 반대 방향으로 엣지를 탐색하더라도 키워드 간 데이터셋 간 연결을 성공적으로 검색한다.
• 각 데이터 소스의 원본 노드 식별자를 유지함으로써 원본 기원을 보존하여 정보의 기원 추적 가능성을 확보한다.
• 신뢰도 점수를 통한 불확실한 링크를 지원함으로써 점수 함수에 강력한 가정을 요구하지 않아도 되어 비전문가 사용자에게 더 유용해진다.
• 합성 및 실세계 데이터셋에 대한 평가 결과, 양방향 및 이질적 검색의 계산 복잡도에도 불구하고 알고리즘이 효과적으로 확장됨을 입증하였다.
• 기존 키워드 검색 시스템이 지원하지 못하는 바를 감안할 때, 이는 여러 데이터 모델을 아우르는 답변을 가능하게 하여 기존 연구를 능가한다.
• Le Monde의 사실 확인 팀과의 협업을 통해 실제 데이터 저널리즘 현장에서의 적용 가능성을 검증하였다.