[논문 리뷰] WikiDataSets: Standardized sub-graphs from Wikidata

Armand Boschin, Bonald, Thomas|arXiv (Cornell University)|2019. 06. 11.

Advanced Graph Neural Networks참고 문헌 11인용 수 4

한 줄 요약

이 논문은 지식 그래프 처리 및 관계 학습 분야에서 재현 가능성을 높이기 위해 위키데이터에서 추출한 표준화된 주제별 부분 그래프인 WikiDataSets를 소개한다. 재사용 가능한 파이썬 패키지를 사용하여 동물, 기업, 국가, 영화, 인간 등의 다섯 개의 데이터셋을 생성하였으며, 주제의 하위 클래스를 순환적으로 수집하고 관련 사실을 필터링하였다. 평가 결과, 인간 데이터셋에서 TransH 및 ANALOGY 모델을 사용한 링크 예측 작업에서 뛰어난 성능을 보였다.

ABSTRACT

Developing new ideas and algorithms in the fields of graph processing and relational learning requires public datasets. While Wikidata is the largest open source knowledge graph, involving more than fifty million entities, it is larger than needed in many cases and even too large to be processed easily. Still, it is a goldmine of relevant facts and relations. Using this knowledge graph is time consuming and prone to task specific tuning which can affect reproducibility of results. Providing a unified framework to extract topic-specific subgraphs solves this problem and allows researchers to evaluate algorithms on common datasets. This paper presents various topic-specific subgraphs of Wikidata along with the generic Python code used to extract them. These datasets can help develop new methods of knowledge graph processing and relational learning.

연구 동기 및 목표

• 지식 그래프 처리 및 관계 학습 분야에서 일관성 없고 대규모이며 처리가 어려운 위키데이터 문제를 해결하기 위해.
• 기존 벤치마킹 워크플로우에서 임의의 데이터셋 커리레이션으로 인한 재현 가능성 문제를 줄이기 위해.
• 위키데이터에서 주제별 부분 그래프를 추출하고 사용하기 위한 통합된 오픈소스 프레임워크를 제공하기 위해.
• 연구자들이 일관성 있고 잘 문서화되며 공개된 데이터셋에서 새로운 알고리즘을 평가할 수 있도록 하기 위해.

제안 방법

• WikiDataSets 파이썬 패키지는 주제 또는 그 하위 클래스의 인스턴스인 위키데이터 엔티티를 식별하여 부분 그래프를 추출한다 (예: 인간의 경우 Q5).
• 최신 전체 위키데이터 덤프 (latest-all.json.bz2) 를 처리하여 선택된 노드와 관련된 사실만 유지하며, 레이블이 부여된 관계와 속성을 그대로 보존한다.
• 세 가지 주요 단계로 구성된 파이프라인을 통해 작업한다: 주제의 하위 클래스 검색, 선택된 엔티티 기반 덤프에서 사실 필터링, 구조화된 출력 파일 생성.
• 각 데이터셋당 다섯 개의 파일을 출력한다: edges.txt (삼중항), attributes.txt (외부 사실), entities.txt (라벨 및 위키데이터 ID), nodes.txt (엔티티의 부분 집합), relations.txt (관계 메타데이터).
• 프레임워크는 영어로 레이블 수집을 지원하며, 모든 그래프가 완전히 레이블이 부여된 지식 그래프로 유지됨을 보장한다.
• 코드는 오픈소스이며, PyPI와 프로젝트 웹사이트에서 재사용 및 확장 가능하게 제공된다.

실험 결과

연구 질문

• RQ1 위키데이터에서 표준화된 주제별 부분 그래프를 자동으로 생성하여 지식 그래프 연구의 재현 가능성을 향상시킬 수 있는가?
• RQ2 기존의 지식 그래프 임베딩 모델은 전통적인 벤치마크와 비교해 커리티드된 위키데이터 부분 그래프에서 어떤 성능을 보이는가?
• RQ3 위키데이터 부분 그래프의 구조적 및 관계적 특성이 의미 있는 커뮤니티 탐지와 의미 분석을 지원하는 데 어느 정도 기여하는가?
• RQ4 일반적이고 재사용 가능한 프레임워크는 대규모 오픈 지식 기반인 위키데이터에서 도메인 특화 지식 그래프를 추출하는 데 어떻게 간소화할 수 있는가?

주요 결과

• 필터링된 인간 데이터셋은 5개 이상의 사실을 가진 엔티티만 포함하여 총 238,376개의 노드와 722,993개의 엣지를 포함하며, 평가에 적합한 고품질 지식 그래프를 형성한다.
• 필터링된 인간 데이터셋에서 ANALOGY 모델은 필터링된 Hit@10 67.9와 필터링된 평균 순위 10,147을 기록하여 TransH를 초월하는 성능을 보였다.
• TransH는 필터링된 Hit@10 61.8과 필터링된 평균 순위 15,027을 기록하여 ANALOGY보다 약간 낮은 성능을 보였다.
• 인간 데이터셋에서 루바인 알고리즘을 사용한 커뮤니티 탐지 결과, 미국 예술가 집단과 베트남 정치 지도자 집단 등 의미적으로 일관된 클러스터가 확인되었으며, 3D 힘 기반 레이아웃을 통해 시각화되었다.
• 각 데이터셋의 상위 엣지 유형은 도메인 특화 관계를 반영한다 — 예를 들어 인간 데이터셋에서는 '자식', '배우자', '부'가 지배적이며, 기업 데이터셋에서는 '모기업', '자회사'가 두드러진다.
• WikiDataSets 패키지는 일관성 있고 레이블이 부여된, 재사용 가능한 부분 그래프를 자동으로 생성하는 데 성공하였으며, 모든 데이터셋과 코드는 연구 목적을 위해 공개되어 있다.